Hunyuanworld-Voyager, новая модель AI от Tencent, генерирует полные интерактивные 3D-сцены с одной фотографии
Генеративный ИИ сдвигает пределы возможностей, и его развитие в области создания трехмерной графики набирает огромный темп. Пришло время для очередного прорыва. Последние достижения в этой области открывают дверь для создания целых, когерентных и интерактивных 3D -миров в зависимости от одного плоского изображения. Это может полностью изменить то, как мы воспринимаем производство игр, фильмов или виртуальных симуляций.
Новая модель китайской компании Tencent, Hunyuanworld Voyager, может генерироваться из одного интерактивного трехмерного мира с удивительной последовательности и реализмом.
Google DeepMind Genie 3 — это ИИ, который создает интерактивные миры из одного предложения. Будет напугать разработчиков и навсегда изменить игры
Искусственный интеллект все больше и более смело входит в области, зарезервированные для трехмерных графических дизайнеров. Китайская компания Tencent только что представила модель под названием Hunyuanworld-Voyager, которая может преобразовать одну фотографию полностью исследованной трехмерной сцены. Эта технология является разработкой предыдущих концепций, таких как Nerf или гауссовый Spllatting. В отличие от многих существующих решений, модель Tencent не фокусируется исключительно на реконструкции, видимой на фотографии, но пытается разумно завершить и генерировать элементы, которые были покрыты или были вне кадра. Таким образом, возникает геометрически и визуально последовательный мир, после чего пользователь может свободно двигаться, обнаруживая его с совершенно новых точек зрения. Основой успеха здесь является продвинутая система, которая сначала анализирует глубину и геометрию стадии, а затем генерирует 3D -(сетку) сеть, текстуры и материалы, основанные на физике (PBR), которая обеспечивает высокий реализм.
Ваш браузер не поддерживает воспроизведение видео.
Google AI Pro, то есть новое измерение производительности благодаря расширенным инструментам искусственного интеллекта
Hunyuanworld Voyager может создать не только статическую среду, но и генерировать материалы, которые реалистично взаимодействуют со светом, что является основой современной компьютерной графики. Алгоритм способен распознавать тип поверхности, например, металл, древесину или воду, и назначать его соответствующие свойства отражения и отвлечения света. Модель создает так называемую карту Sky (Skybox), обеспечивая постоянное освещение для всей сцены. Хотя технология впечатляет, у нее есть свои ограничения. Качество генерируемых элементов зависит от сложности входной фотографии, а алгоритм иногда генерирует объекты с низкой детализацией или нелогичной геометрией, особенно в областях, которые были полностью невидимыми. Несмотря на это, Hunyuanworld Voyager является важным шагом к автоматизации создания игровых ресурсов и виртуальных сред, потенциально сокращая время и снижение производственных затрат. Tencent предоставил исходный код проекта на платформе GitHub, которая позволяет разработчикам дальнейшие эксперименты и разработку этой многообещающей технологии. Больше можно прочитать об этом из документа PDF, подготовленного и общего Tencent.
Грок 4 дебютирует в тени скандала. Действительно ли новая модель XAI превышает CHATGPT и Gemini в каждой области?
Аппаратные требования Hunyuanworld-Voyager поставили высокие барьеры ввода для потенциальных пользователей. Модели требуется минимум 60 ГБ графического процессора для разрешения 540p, причем Tencent рекомендуется 80 ГБ VRAM для оптимальных результатов. Система поддерживает параллельный вывод на многих видеокартах, используя структуру XDIT, достигая в 6,69 раза ускорение с использованием восемь графических процессоров. Генерация одного видео -сегмента, состоящего из 49 кадров, длится около 4 минут на четырех видеокартах, работающих параллельно. Технологические ограничения включают не только высокие требования к расчетам, но и ограничения лицензии. Модель не может быть использована в Европейском Союзе, Великобритании и Южной Корее, а коммерческие реализации, обслуживающие более 100 миллионов пользователей ежемесячно, требуют отдельной лицензии от Tencent.
Источник: Tencent, Ars Technica
