Будущее расчетов: Китай представил нейроморфный ИИ, который в 100 раз быстрее
Ученые из Института автоматизации китайской академии наук в Пекине разработали новую «мозговую» языковую модель под названием SpikingBrain 1.0, предназначенную для работы с местными чипсами вместо процессоров NVIDIA. Система имитирует работу биологических нейронов, что позволяет снижать потребление энергии и достигать высокой производительности. Модель демонстрирует результаты, сравнимые с результатами традиционных систем искусственного интеллекта, обучаясь менее чем на 2% стандартного объема данных. Кроме того, Spikingbrain 1.0 обрабатывает длинные последовательности токенов десятки раз быстрее.
Архитектура трансформатора, которая лежит в основе популярного ИИ, такого как CHATGPT, является чрезвычайно ресурсной интенсивной: стоимость обучения увеличивает квадрат с длиной последовательности, в то время как выводы память растут линейно. SpikingBrain 1.0 использует другой подход — SO -SALLED «Spike Computing», который имитирует функционирование нейронов мозга.
В отличие от моделей, таких как GPT, которые активирует всю сеть, SpikingBrain Это отвечает только на конкретные входные сигналы. Этот принцип позволяет вам значительно сократить потребление энергии и увеличить скорость обработки. По словам авторов, система была обучена менее чем 2% данных, которые обычно необходимы для моделей такого масштаба, но, тем не менее, представлены в сопоставимых по языковым тестам и рассуждениям.
Команда проверила две версии модели — с 7 миллиардами и 76 миллиардами параметров. Обе модели обучаются относительно небольшому объему данных — 150 миллиардов токенов. Эффективность технологии особенно заметна при обработке длинных последовательностей. В одном из тестов меньшая модель реагирует на намек на 4 миллиона токенов более чем в 100 раз быстрее, чем стандартная система. В другом тесте SpikingBrain 1.0 показал в 26,5 раза больше ускорения, чем традиционная архитектура трансформатора при создании первого тока контекста 1 миллиона токенов.
Тесты также показали постоянную производительность: система постоянно работает в течение нескольких недель при установке сотен чипов Metax — платформы, разработанной в Шанхайских интегрированных цепях Metax. Это подчеркивает потенциал SpikingBrain для большого масштаба, разворачивающегося без иностранных технологий.
Исследователи считают, что новая модель особенно полезна, если следует обрабатывать гигантские объемы данных: при анализе юридических и медицинских документов, физики и биоинформационных экспериментов, включая секвенирование ДНК.
«Эти результаты показывают, что обучение крупных моделей также может быть эффективным на альтернативных платформах, отличных от Nvidia», — написала исследовательская группа.
Новая технология, которая имитирует структуру и функцию человеческого мозга, может изменить основу того, как вычисляются расчеты, и ускорить разработку систем ИИ следующего поколения.
