Новый симулятор ускоряет обучение роботов в 430 000 раз
Исследователи из Университета Карнеги-Меллона представили платформу Бытие – новая система моделирования с открытым исходным кодом, которая ускоряет обучение роботов в виртуальной среде в 430 000 раз быстрее, чем в реальном мире. За один час моделирования роботы могут получить опыт, эквивалентный 10 годам обучения. Genesis выполняет физические расчеты до 80 раз быстрее, чем существующие решения, и может одновременно запускать до 100 000 симуляций. Система также генерирует «4D-миры» из текстовых подсказок, автоматически создавая сложную среду для тестирования роботов.
Платформа Genesis выполняет физические вычисления до 80 раз быстрее, чем аналогичные решения, такие как Isaac Gym от Nvidia. Процесс включает в себя Графические процессоры, аналогичные тем, которые используются в видеоиграх. Это позволяет платформе выполнять до 100 000 симуляций одновременно. Это важно для обучения нейронных сетей, предназначенных для управления роботами в реальном мире.
Разработчики представили и технология создания «4D динамических миров». Термин «4D», вероятно, относится к моделированию 3D пространства во времени, т.е. динамически. Модели визуального языка (VLM) используются для создания виртуальных сред на основе текстовых описаний (аналогично подсказкам в других системах искусственного интеллекта) путем применения собственных инфраструктурных API Genesis. Миры, созданные искусственным интеллектом, имеют реалистичную физику, движения камеры и поведение объектов, задаваемые с помощью текстовых команд. Система генерирует физически правильные видеоролики с трассировкой лучей и данные обучения роботов.
Традиционно симуляции требуют от художников огромных усилий: 3D-модели, текстуры, макет сцены. Но каждый компонент этого процесса можно автоматизировать. Новая технология текстовых запросов позволяет создавать сложные среды тестирования роботов, вводя команды на естественном языке вместо ручного программирования.
Движения персонажей, интерактивные 3D-сцены, лицевая анимация и другие элементы могут быть созданы с помощью движка Genesis, который полезен как для создания художественных ресурсов, так и для разработки более реалистичных игр и видеороликов с использованием искусственного интеллекта. В отличие от диффузионных моделей, которые работают с пиксельной статистикой, Genesis конструирует смоделированный мир непосредственно на основе данных.
Genesis появился в то время, когда исследователи робототехники ищут лучшие инструменты для тестирования и обучения роботов в виртуальных средах, прежде чем развертывать их в реальном мире. Быстрое и точное моделирование помогает роботам быстрее осваивать сложные задачи, сокращая при этом необходимость в дорогостоящих физических испытаниях. Генеративная система пока не является частью кода, доступного на GitHub, но команда планирует опубликовать ее в будущем.
Платформа отличается от других мировых 3D-симуляторов обучения роботов тем, что в ней используется Python как для интерфейса, так и для физического движка. В отличие от других движков, использующих C++ или CUDA с API Python в качестве среды, Genesis полностью создан с нуля на Python. Благодаря открытой платформе любому исследователю бесплатно доступно высокоскоростное моделирование для обучения роботов с помощью простых команд Python на стандартном оборудовании.
