Первый в мире смартфон, полностью основанный на ИИ-агентах, показали в действии

Китай в очередной раз продемонстрировал свое стремительное развитие в сфере искусственного интеллекта. Пока остальной мир создает различных ИИ-помощников и различные ИИ-функции, ZTE и ByteDance разработали смартфон с интеграцией агента искусственного интеллекта на уровне операционной системы. Он управляет всеми функциями устройства так же, как человек.

Прототип смартфона ZTE Nubia M153 работает под управлением модифицированной версии Android, в которую интегрирован AI-агент Doubao от ByteDance.

Doubao — это известная в Китае экосистема моделей искусственного интеллекта общего назначения, которые используются в чат-ботах и ​​рабочих приложениях. В случае с ZTE Nubia M153 это не обычный AI-помощник — агент полностью управляет смартфоном: видит пользовательский интерфейс, загружает и запускает приложения, работает с их функциями, пишет, звонит и выполняет многоэтапные задачи.

Пользователь может даже не знать, какие приложения могут понадобиться для решения поставленных задач — искусственный интеллект управляет смартфоном так же, как это делает человек, а не приложение. В одном из примеров ИИ-агент нашел пользователю человека, готового постоять за него в очереди: он нашел и установил приложение местного сервиса, поставил задачу, заполнил необходимые поля в форме и показал окончательный экран подтверждения заказа. Пользователь сам не знал, какое приложение сможет решить эту задачу и как его настроить. Агент ИИ все сделал сам.

Прототип смартфона ZTE Nubia M153 оснащен новейшим флагманским процессором Qualcomm Snapdragon 8 Elite Gen 5 с 16 ГБ оперативной памяти. Функции анализа и управления интерфейсом экрана выполняются локально с помощью ИИ устройства, а семантический анализ и более сложные операции выполняются на удаленных облачных ресурсах. Такое распределение задач позволяет ИИ работать быстро и сохранять конфиденциальные данные, такие как пароли и платежную информацию, в безопасности.

Приложениями на базе Doubao пользуются более 175 миллионов человек в Китае. Модель ИИ является мультимодальной, то есть работает как с текстом, так и с изображениями. В одном из примеров искусственный интеллект смартфона распознал по фотографии станцию ​​замены аккумуляторов NIO для электромобилей и объяснил, как она работает.

Более впечатляющей демонстрацией было бронирование номера в отеле: пользователь сфотографировал вход в отель и выразил намерение забронировать номер.

Дубао интерпретировал семантику в облаке, определил отель, понял, что на день нужен номер, и уточнил политику в отношении домашних животных. Обученная нейронная сеть ZTE Nebula-GUI с 7 миллиардами параметров выполнила немедленные операции: открыла приложение для бронирования, ввела даты, выбрала лучшие цены, уточнила политику в отношении домашних животных и проинформировала об этом пользователя.

Еще одной интересной демонстрацией стал заказ роботизированного такси. Doubao использует данные спутниковой геолокации, ищет в местных приложениях для заказа такси, чтобы определить оператора, обслуживающего тот или иной маршрут. Графический интерфейс Nebula запускает приложение Baidu Apollo, выбирает пункты посадки и назначения и подтверждает поездку. Пользователь попросил изменить место отправления прямо во время поездки — искусственный интеллект распознал активную поездку с «Аполлоном», открыл правильный экран, изменил пункт назначения, подтвердил его на смартфоне и в самом робот-такси.

Последним примечательным примером был заказ еды — в данном случае двух напитков у Meituan, службы, предлагающей доставку дронами.

ИИ отправил заказ в ближайший автоматизированный пункт доставки, и когда система Meituan сделала звонок с подтверждением, Дубао ответил от имени пользователя и поговорил с ботом Meituan. Два бота успешно договорились без участия человека. Параллельно пользователь включал смартфон во время прогулки в качестве инструмента экологической оценки, задавая вопросы о заведениях и людях, встреченных по пути.

Таким образом, прототип смартфона мог полностью контролировать свой собственный графический интерфейс, чему способствовала мощная мультимодальная модель искусственного интеллекта с логическим мышлением. Человеку уже не обязательно разбираться в специфике работы с приложениями — достаточно сказать смартфону, что в результате требуется. Ни один другой производитель смартфонов пока не продемонстрировал подобных возможностей. Пока не ясно, выйдет ли такое устройство на рынок, но прототип показал, как смартфоны с агентами искусственного интеллекта могут изменить жизнь современного человека.

Глава хедж-фонда Snow Bull Capital Тейлор Оган, показавший смартфон в действии, был очень впечатлен устройством и назвал его появление потенциальным новым «моментом DeepSeek», намекнув, что появление нового продукта встряхнет индустрию, как это сделала широко обсуждаемая китайская модель искусственного интеллекта.