Ветеран Microsoft запустил ИИ на 47-летнем компьютере с процессором 6 МГц и 64 КБ оперативной памяти

Ветеран разработки Windows Дэйв Пламмер решил развенчать мифы об искусственном интеллекте в своем гараже, полном компьютеров, раскрыв «маленький грязный секрет искусственного интеллекта».

Суть эксперимента раскрывается в первой строке описания видео: Дэйв использует PDP-11 для обучения настоящей нейронной сети. Для демонстрации разработчик использовал свою 47-летнюю систему PDP-11 с процессором, работающим на частоте 6 МГц и всего 64 КБ оперативной памяти. Он запускает модель искусственного интеллекта под названием «Внимание 11», написанную Дэмиеном Буре на языке ассемблера для PDP-11.

На первый взгляд задача, которую должен «научиться» выполнять PDP-11, элементарна — переворачивать последовательность из восьми цифр. Однако модель ИИ должна усвоить структурное правило, чтобы успешно работать с любыми входными данными. По словам Пламмера, это отражает суть того, как работают современные большие языковые модели, такие как ChatGPT.

Несмотря на использование Attention 11, полностью написанного на языке ассемблера PDP-11, специалисту все равно пришлось оптимизировать код под ограничения системы.

«Ограничения — не враг инженерии. Ограничения — это то, что делает творческую инженерию реальностью».

акции Пламмера

Вы можете быть удивлены тем, как мало нужно для проявления искусственного интеллекта. Например, используемая модель ИИ имеет всего 1216 параметров. Он использует математику с фиксированной запятой, точность ограничена 8 битами для прямого прохода, и каждый цикл оптимизирован так, чтобы машина могла завершить обучение до «тепловой смерти Вселенной».
Дэйв прокомментировал:

«Мы наблюдаем упрощенную анатомию самого обучения. Модель начинается глупо. Потери велики. Точность спотыкается, как человек, пытающийся втиснуть мебель IKEA в кузов движущегося фургона, а затем, где-то по пути, гири располагаются по определенному шаблону. И механизм внимания обнаруживает карту разворота. И машина пересекает эту невидимую границу от догадок к знанию».

акции Пламмера

Результаты эксперимента по обучению ИИ на древнем компьютере с 6-мегагерцовым процессором оказались впечатляющими.

Дэйв смог добиться 100% точности модели ИИ в задаче переворота цифр примерно после 350 шагов обучения. Достижение этого уровня обучения на PDP-11/44 заняло около 3,5 минут, чему способствовала плата кэширования. Дэйв настаивает на том, что современный ИИ работает по той же механической, а не мистической методике, только с колоссально увеличенными масштабами исправления ошибок и арифметики.

«Эта старая машина не думает в каком-то мистическом смысле. Она просто переделывает арифметику, чтобы обновить несколько тысяч тщательно сохраненных чисел. И в этом весь смысл игры. Великолепие современного ИИ заключается главным образом в том, что он реализован в ошеломляющих масштабах, но сам процесс обучения теперь полностью представлен здесь, в миниатюре».

объяснил легендарный разработчик Windows

В заключение Пламмер отмечает, что, поскольку нехватка вычислительных ресурсов становится ограничивающим фактором, любая компания, которая сможет принять одержимость старой школы эффективностью и оптимизацией, может получить значительное преимущество.