Nvidia запускает AI-платформу для преподавания на языке жестов

Nvidia представила новую платформу для искусственный интеллектнаучить людей, как использовать американский язык жестов, чтобы помочь преодолеть барьеры коммуникации. Платформа Signs создает выбранный набор данных для языка жестов и разработчиков приложений на основе ASL.

Американский язык жестов является случайным образом третьим наиболее распространенным языком в Соединенных Штатах, но инструменты искусственного интеллекта гораздо меньше, чем данные ASL, чем данные, основанные на данных наиболее распространенных языков на страновом английском и испанском языке.

Nvidia, Американское общество глухих детей и творческое агентство Hello Monday помогает преодолеть этот пробел с помощью знаков-интерактивной веб-платформы, предназначенной для изучения языка жеста и разработки доступных приложений на основе искусственного интеллекта.

Обучение языку жестов может получить доступ к выбранной библиотеке знаков платформы ASL, чтобы расширить свой словарный запас с помощью 3D-Auto, демонстрирующих знаки, а также использование инструмента на основе AI, который анализирует видео из видео веб-камеры для обеспечения реальной обратной связи. Жестокие люди на всех уровнях могут способствовать разработке платформы, показывая жесты в определенных словах, чтобы помочь создать набор открытых видео материалов ASL.

Набор данных NVIDIA планирует расширить до 400 000 видеороликов, представляющих 1000 жестов, рассматриваются опытными пользователями знаков и переводчиков для обеспечения точности каждого жеста. Результатом является высококачественный визуальный словарь и инструмент для обучения.

«Большинство глухих детей рождаются, слышащие родители. Предоставление семьям доступными инструментами, такими как признаки раннего изучения языка жестов, позволяет эффективно общаться с детьми в возрасте от шести до восьми месяцев«В своем заявлении говорится, что Черри Даулинг, генеральный директор Американского общества глухих детей. «Знание того, что преподаватели профессионального знака рассмотрели весь словарь платформы, означает, что пользователи могут доверять тому, что они изучают.

Команды Nvidia планируют использовать этот набор данных для дальнейшего разработки приложений искусственного интеллекта, которые преодолевают коммуникационные барьеры между глухими и слуховыми сообществами. Данные планируется предоставить общественности в качестве ресурса для создания доступных технологий, включая агентов искусственного интеллекта, цифровые приложения для людей и инструменты для видеоконференций. Это также может быть использовано для улучшения обозначения и предоставления платформ ASL в экосистеме с ИИ в реальном времени.

Независимо от того, являетесь ли вы новичком или экспертом, добровольцы могут записать свои жесты, чтобы внести свой вклад в набор данных ASL.

На этапе сбора данных знаки уже предоставляют мощную платформу для изучения языка жестов, предлагая людям возможность изучать и практиковать оригинальный набор из 100 символов, чтобы они могли более эффективно общаться с друзьями или членами семьи, которых они используют Язык жестов.

«Платформа для изучения языка знаков может помочь семьям с глухими детьми быстро найти правильное слово и посмотреть, как сделать соответствующий знак. Это инструмент, который может помочь им ежедневно использовать язык знаков за пределами официальных классов«Говорит Даулинг. «Я вижу, что и дети, и родители уже изучают это.«

В то время как знаки в настоящее время сосредотачиваются на движениях рук и кончиков пальцев для каждого знака, ASL также включает в себя выражения лица и движения головы для передачи значения. Команда Signs изучает, как эти нестабильные сигналы могут быть прослежены и интегрированы в будущие версии платформы.

Они также исследуют, как могут быть представлены другие нюансы, такие как региональные различия и выражения жаргонов, для обогащения базы данных ASL и сотрудничества с исследователями из технологического института Рочестера, чтобы оценить и улучшить опыт потребительского опыта платформы Signs для глухих и глухих Слух с нарушениями слуха.

«Улучшение доступности языка жестов является непрерывным процессом«-дает Андерс Джесен, основатель Hello Monday/Dept, который создал веб-платформу Signs и ранее работал с Американским обществом глухих детей в приложении для пальцев. «Знаки могут удовлетворить необходимость в сложных инструментах искусственного интеллекта, которые помогают преодолеть коммуникационные барьеры между сообществами глухих и слуха.«

Набор данных, основанный на знаках, должен быть запущен в конце этого года.