Nvidia научит старые видеокарты GeForce повышать FPS с помощью ИИ
В интервью Digital Foundry Брайан Катандзаро, вице-президент по прикладным исследованиям глубокого обучения Nvidia, заявил, что в будущем не исключает внедрения функции генерации кадров искусственного интеллекта для увеличения FPS, которая стала частью технологии DLSS. в старых видеокартах Nvidia.
С момента своего дебюта в 2018 году технология Nvidia Deep Learning Scaling (DLSS) превратилась в четвертую версию. Его последняя итерация переключилась на модель искусственного интеллекта трансформаторного типа, что позволило реализовать ряд новых функций, включая многокадровую генерацию (MFG). Последний позволяет создавать до трёх дополнительных кадров для каждого традиционно визуализируемого кадра для увеличения FPS.
Nvidia удалось внедрить некоторые новые технологии, включая DLSS Ray Reconstruction, Super Разрешение и технологию сглаживания глубокого обучения (DLAA), на всех видеокартах GeForce RTX с 2010 года. Однако генерация кадров первого поколения, изначально представленная как эксклюзивная функция в видеокартах серии GeForce RTX 40, не поддерживается моделями серий GeForce RTX 30 и RTX 20. Новый многокадровый генератор изначально был анонсирован только для последних версий. GeForce RTX 5000.
В разговоре с журналистами Брайан Катандзаро отметил, что не исключает появления функции генерации кадров в старых моделях видеокарт Nvidia.
«Я думаю, что ключевым моментом здесь является дизайн и оптимизация, а также опыт конечного пользователя. Мы используем лучший генератор кадров, основанный на технологии Multi Frame Generation, в видеокартах 50-й серии. И в будущем посмотрим, сможем ли мы что-нибудь отжать для оборудования старого поколения.» — прокомментировал представитель Nvidia.
Учитывая заявление Катандзаро, можно предположить, что первая версия генератора кадров может со временем появиться в видеокартах серии GeForce RTX 30. Однако маловероятно, что мы увидим ее в моделях серии GeForce RTX 20. , генератор мультикадров, скорее всего, останется эксклюзивом для видеокарт серии RTX 50, так как для его работы требуется значительно больше вычислительных мощностей с учетом AI, которые эти карты обеспечивают с новыми тензорными ядрами.
Один из ведущих разработчиков Nvidia также поделился некоторой информацией о разработке DLSS.
«Когда мы создавали Nvidia DLSS 3 Frame Generation, нам абсолютно необходимо было аппаратное ускорение для вычислений оптического потока. Но нам не хватило тензорных ядер и хорошего алгоритма оптического потока. Мы не создали алгоритм оптического потока в реальном времени на тензорных ядрах, чтобы он соответствовал нашим резервам вычислительной мощности. У нас был аппаратный ускоритель Optical Flow, который Nvidia создавала годами как развитие нашей технологии кодирования видео. Это также было частью нашей технологии по ускорению компьютерного зрения для беспилотных автомобилей. Кажется, имеет смысл использовать его и для генерации кадров Nvidia DLSS 3. Но проблема любой аппаратной реализации такого алгоритма, как Optical Flow, заключается в том, что его действительно сложно улучшить. Это то, что есть, и проблемы, вызванные этим оборудованием оптического потока, были вещами, которые мы не могли решить с помощью более умной нейронной сети, пока не решили просто заменить ее и перейти к решению, полностью основанному на искусственном интеллекте. Именно это мы и сделали для генерации кадров в DLSS 4.«
