Audio2face 3D сделан бесплатно. NVIDIA открывает исходный код передовой системы Sync Sync of Admanceed AI

ИИ предлагает инструменты, которые автоматизируют и ускоряют сложные процессы при создании анимации в играх. Создание реалистичного поведения и выражения лица цифровых персонажей является одной из самых больших проблем, которые до недавнего времени требовали огромной работы. Ведущие игроки на рынке превзошли себя в разработке своих собственных решений, и некоторые из них решают предоставить важные элементы своих платформ с получателями.

Audio2face использует ИИ для генерации реалистичных лицевых анимаций на основе аудиодатчиков путем анализа акустических признаков, таких как фонемы и интонация, для создания потока данных анимации.

Nvidia инвестирует в OpenaI в размере 100 миллиардов долларов на строительство 10 гигаватт с Vera Rubin Systems

Nvidia объявила об обмене своей технологией Audio2face по лицензии MIT с открытым исходным кодом, предоставляя бесплатный доступ к играм и 3D -доступ к приложениям к продвинутым инструментам цифровой анимации персонажей. Audio2face использует искусственный интеллект для автоматического генерации выразительных лицевых анимаций и синхронизации движения в уст рта на основе только аудиозаписи. Технологический анализ анализирует акустические характеристики звука, включая фонемы и интонацию, превращая их в поток данных анимации, отображаемых в позы лица. Система работает как в автономном режиме для предопределенного контента, так и в режиме реального времени для динамического взаимодействия. Nvidia предоставляет полный пакет, включая Audio2face SDK, плагины для Autodesk Maya и Unreal Engine 5, учебную структуру и наборы образцов данных. В рамках выпуска были также модели аудио2 -эмоции, которые могут вывести эмоциональное состояние персонажа непосредственно из аудио.

https://www.youtube.com/watch?v=dm8-gnin76c

Соглашение между Intel и Nvidia не должно негативно влиять на сегмент сегмента графики Intel Arc

Решение открыть исходный код Audio2face — это продолжение стратегии NVIDIA, связанной с ACE для платформы Games, о которой мы сообщили как потенциальная революция во взаимодействии с NPC. Первое практическое применение этой технологии было представлено в игре Mecha Break во время Gamescom 2024, где была показана операция компактной модели Nvidia Minitron 4B, требующей только 2 ГБ VRAM.

NVIDIA не строит квантовый компьютер, и поэтому хочет доминировать на рынке. Мы знаем их блестящий план, или NVAQC

Исследования разработок уже используют Audio2face в коммерческом производстве, в том числе GSC Game World в игре Stalker 2 Heart of Chroanobyl и Farm 51 в зоне исключения Chernobilite 2. Технология позволяет вам обходить время, требующие традиционных методов захвата движения, ускоряя производство и позволив аниматорам сосредоточиться на более высоком качественном уточнении деталей. Для небольших исследований это означает доступ к инструментам, ранее предназначенным для крупнейших производителей AAA, что может привести к уровню качества анимации между бюджетом и высоким уровнем производства. Ниже приведен пример использования этой технологии.

https://www.youtube.com/watch?v=tv4c4c4ipnoyq

Источник: NVIDIA