«Рататуй» на 150 языках (но есть нюанс). Broadcom продемонстрировал чип искусственного интеллекта для перевода видео
Технология обещает поддержку 150 языков, включая редкие диалекты.
Broadcom представила новый чип с нейросетью, позволяющий выполнять голосовой перевод и аудиоописание прямо в устройстве без подключения к каким-либо облачным сервисам. Совместно с CAMB.AI разработчики стремятся изменить подход к обработке мультимедиа, сделав технологии доступности более автономными и безопасными.
Главным преимуществом новой системы является полностью локальная обработка.. Все процессы выполняются внутри устройства без отправки данных во внешние сети. Таким образом минимизируется задержка, снижается нагрузка на каналы связи и повышается конфиденциальность. Это особенно важно для задач, связанных с переводом речи и созданием описаний происходящего на экране — функций, которые востребованы людьми с нарушениями зрения или слуха.
В качестве примера разработчики продемонстрировали короткий видеоролик, в котором технология озвучивает и сопровождает фрагмент мультфильма «Рататуй» визуальным переводом. Система автоматически распознает происходящее в кадре, формирует описание и воспроизводит его голосом на нескольких языках. При этом текст отображается синхронно на экране.. По мнению команды, такие функции помогут сделать фильмы и сериалы более доступными для более широкой аудитории.
Однако текущая демо-версия не отражает реальных условий. Видео было отредактировано вручную, и неясно, как система будет обрабатывать живой контент, особенно звук в реальном времени и прерывистый звук. Точность описаний также остается открытым вопросом, особенно при нечеткой визуальной информации. Однако уже известно, что голосовая модель, лежащая в основе этого решения, используется в трансляциях NASCAR, на телеканале Comcast и даже в рамках музыкального конкурса «Евровидение».
Создатели обещают поддержку более 150 языков, включая редкие диалекты, и заявляют о высокой гибкости реализации в различных устройствах — от телевизоров до носимой электроники.. Конкретные сроки появления продуктов на рынке не указаны: проект находится на стадии тестирования. Это не единственный шаг Broadcom в направлении искусственного интеллекта — ранее компания объявила о партнерстве с OpenAI для производства специализированных чипов, направленных на генеративные задачи искусственного интеллекта.
