Google Gemini Live и Assistant научился видеть мир через камеру смартфона, и без промедления.

Google анонсировала несколько новых функций для своего виртуального помощника Gemini Live, с которым пользователи могут взаимодействовать с помощью голосовых команд. В ближайшем будущем Gemini Live сможет распознавать и отмечать объекты, которые пользователь «показывает» с помощью камеры на своем смартфоне.

Это инновация будет полезно в различных ситуациях. Например, когда пользователь не уверен, какой инструмент лучше всего подходит для определенной задачи, он или она может спросить Gemini Live и использовать камеру, чтобы помочь помощнику искусственного интеллекта выбрать лучший вариант. Эта функция будет доступна для смартфонов Google Pixel 10, объявленных на этой неделе. Визуальные подсказки также будут доступны для других устройств Android в конце этого месяца, а приложение Assistant IOS появится в ближайшие недели.

В то же время разработчики расширили возможности Gemini Live с точки зрения взаимодействия с другими приложениями, включая телефон, сообщения и часы. Например, если пользователь обсуждает маршрут к определенному моменту с живой Близнецом, но он понимает, что он не сможет достичь во времени, и в этом случае пользователь может сказать помощнику, что предлагаемый маршрут подходит ему, но он должен скомпилировать и отправить сообщение одному из контактов, которые он замедлит на несколько минут. Затем Gemini Live будет независимо генерировать и отправлять сообщение в указанный контакт, предупреждая его до задержки.

Google также объявил о запуске обновленной аудио -модели для Gemini Live. Благодаря этому алгоритм лучше узнает интонацию, ритм и высоту голоса человека. Вскоре помощник научится менять интонацию в зависимости от того, что говорится. Пользователь также сможет ускорить и задержать вживую Близнецы, в зависимости от того, как удобнее воспринимать ответы помощника ИИ. Если пользователь попросил Gemini Live, чтобы рассказать драматическую историю от имени конкретного персонажа или исторической фигуры, алгоритм сможет дать »богаче«.