Новый корейский НПУ ускоряет искусственный интеллект на 60%, экономит 44% энергии
Корейские исследователи из школы компьютерных наук KAIST в сотрудничестве с Hyperaccel Inc разработали новый нейронный процессор, который повышает производительность генеративных моделей с искусственным интеллектом в среднем на 60%.
Современные модели генеративного искусственного интеллекта, такие как CHATGPT-4 и Gemini 2.5, требуют не только высокой пропускной способности памяти, но и значительно большей памяти. В результате компании, которые используют облачный генеративный искусственный интеллект, включая Microsoft и Google, покупают сотни тысяч процессоров Nvidia.
Новый нейронный процессор, созданный корейскими исследователями, повышает производительность генеративных моделей с искусственным интеллектом на 60% и снижает потребление энергии на 44%. Технология предлагается учеными во главе с профессором Чонго Парком. Он разработан специально для II Claud Services, таких как CHATGPT.
В настоящее время, на основе графических процессоров, инфраструктура требуется как минимум некоторые из них, чтобы обеспечить высокую пропускную способность и пропускную способность. Технология корейских исследователей позволяет использовать меньше нейронных процессоров поддерживать ту же инфраструктуру путем определения KV-Kesha. КВ -бин занимает большую часть используемой памяти. Таким образом, Quantum значительно снижает стоимость строительства и генеративных облачных услуг.
Общая архитектура ускорителя Oaken/ACM
Новый NPU интегрируется с интерфейсами памяти без изменения существующего архитектурного алгоритма операционной системы. Он не только реализует механизм квантования KV-Keha, он также управляет памятью уровня страницы, эффективно используя ограниченную полосу пропускания и способность памяти, и вводит новые методы кодирования, оптимизированные для квантового ктча KV. Ожидается, что этот NPU снизит эксплуатационные расходы при построении инфраструктуры ИИ -генерации облака благодаря высокой производительности и низкому потреблению энергии.
«Это исследование, проведенное в сотрудничестве с Hyperaccel Inc., обнаружило решение в алгоритмах генерации света для искусственного интеллекта и успешно разрабатывает основную технологию NPU, которая может решить проблему памяти. С помощью этой технологии мы внедрили NPU с улучшением производительности более 60% по сравнению с новейшими графическими процессорами, сочетая методы квантования, которые снижают требования к памяти при хранении точности вывода и оптимизации для этой аппаратной конструкции«Говорит профессор Чонссо Парк.
