Термодинамика вычислений: ученые открыли, как снизить энергию для ИИ до физического минимума
Вся история вычислений была постоянной борьбой с помехами и потерей энергии из-за рассеивания тепла. Мощное железо решает проблему производительности, но избыточное тепло растет в геометрической прогрессии и с этим не справляется даже хороший кулер или водяное охлаждение. Но что, если мы не будем бороться с нагревом и тепловым шумом как с источником ошибок, а использовать их? Можно ли это сделать таким образом? На самом деле, это можно сделать так.
Исследователи из Национальной лаборатории Лоуренса в Беркли предложили понятие термодинамических расчетов. Исследователи Национальной лаборатории Лоуренса Беркли предлагают концепцию термодинамических вычислений, в которой тепловой шум — случайные колебания электронов из-за нагрева и охлаждения — больше не раздражает и становится источник питания для вычислений.
В классических компьютерах и квантовых системах шум подавляется огромными энергетическими затратами на охлаждение и увеличение мощности сигналов, но предложенная учеными система работает на чрезвычайно низких энергетических масштабах, близких к энергии теплового шума. Систему просто оставляют в покое, а естественные тепловые колебания сами переводят ее из одного состояния в другое, совершая полезные операции.
«Термодинамические вычисления — это вычисления, управляемые шумом».
как лаконично объяснили авторы исследования.
Следует отметить, что аналогичный метод расчета был продемонстрирован ранее для уравнений линейной алгебры. Нейронные сети требуют нелинейных вычислений, возможность которых была впервые продемонстрирована на термодинамических системах командой Беркли. Это позволяет выполнять сложные нелинейные нейросетевые вычисления при комнатной температуре без потребления активной мощности для подавления шума.
Команда разработала «термодинамические нейроны«— нелинейные компоненты, которые ведут себя как нейроны в сети, позволяя выполнять произвольные нелинейные вычисления. Еще одним недостатком предыдущих подходов было то, что перед началом вычислений приходилось долго ждать, пока система достигнет состояния равновесия. Новый подход позволяет избежать ожидания и начинать расчеты в любой момент состояния системы, не дожидаясь термодинамического равновесия.
Поскольку система является стохастической (каждый прогон дает немного разные результаты из-за шума), стандартный градиентный метод не подходит для запуска алгоритма. Поэтому исследователи подготовили эволюционные алгоритмы на суперкомпьютере Перлмуттера (NERSC)оценив триллионы стохастических траекторий. Алгоритм оптимизирует параметры схем таким образом, чтобы система давала желаемый результат в заданный момент времени. так сказать они обнаружили, как лучше всего превратить шум в производительность нейронной сети.
Конечно, использование суперкомпьютера на этапе поиска наиболее эффективных траекторий термодинамических изменений в схемах — это колоссальные затраты энергии. Но после обучения все можно реализовать аппаратно, точнее, получить ответы в процессе «обычного» охлаждения процессора без значительного внешнего питания.
Моделирование показало, что вывод (вывод) происходит с чрезвычайно низким энергопотреблением — на порядки эффективнее, чем классические чипы для задач машинного обучения. Поставьте подобный «ленивый» процессор отвечать на поисковые запросы, и вы сэкономите много энергии! Это выглядит фантастически. Но подобные процессоры уже есть и, похоже, их будет больше.
Все важное из мира технологий прямо на ваш почтовый ящик.
Подписываясь, вы принимаете наши Условия и Политику конфиденциальности. Вы можете отказаться от подписки одним щелчком мыши в любое время.
