Microsoft Copilot уже может увидеть ваш экран! Новая функция в Edge анализирует контент и ответы, прежде чем задать вопрос

Microsoft расширяет возможности своего помощника на функцию, которая до недавнего времени была зарезервирована для научной фантастики. Vision Vision в браузере Edge — это еще один шаг к интеллектуальным инструментам искусственного интеллекта, которые не только слушают команды, но и активно анализируют контекст. Новизна — улучшить работу, поиск и принятие решений, сокращая время, необходимое для поиска ответа. Microsoft объявляет, что это только начало реализации экрана.

Copilot Vision может видеть и понимать, что находится на вашем экране, чтобы помочь именно тогда, когда вам это нужно — Мустафа Сулиман.

Microsoft предоставляет функции Copilot+ AI с Windows 11 также на компьютерах с AMD Ryzen AI 300 и Intel Core Ultra 200V

Microsoft объявила, что новая функция Copilot Vision была доступна для пользователей Browser Edge. Это еще один этап разработки помощника искусственного интеллекта, который, помимо понимания естественного языка, приобрела возможность проанализировать то, что пользователь в настоящее время имеет на экране. Благодаря этому Copilot может реагировать еще быстрее, например, Предлагая резюме или ярлыки для информации, видимой на странице, помогая заказать данные и даже создание электронной почты или документов на основе просмотренного контента. Инструмент работает на Edge на Windows 11 (версия Canary и Dev), и его активация проводится вручную у пользователя.

Копилот бесплатно и без ограничений для всех. Microsoft сняла ограничения из двух функций. Бесплатный доступ к Openai O1

Microsoft подчеркивает, что данные, проанализированные с помощью Copilot, не отправляются на внешние серверы без согласия пользователя, и все соответствует заявленной стратегии развития «ИИ, которой вы можете доверять». Новая функция основана на динамическом визуальном сканировании содержимого окна и может быть особенно полезно в рабочей среде, образовании и ежедневном управлении задачами. Компания заявляет, что это только начало реализации «здравого смысла» для Copilot. Следующим шагом будет интеграция с приложениями Microsoft 365. Эти изменения могут повторно определять способ работы пользователей с ИИ каждый день.

https://www.youtube.com/watch?v=1envvijva8

Источник: Verge, Bluesky / Mustafa Suleyman, Microsoft Support