Большая языковая модель была успешно запущена в системе Windows 98 и на старом компьютере.
Вычисления, связанные с искусственным интеллектом, обычно связаны с необходимостью обладать огромной вычислительной мощностью. Однако на практике на рынке уже существуют языковые модели, которые успешно работают на обычном оборудовании. Однако редко кто-то пытается запустить их на старом компьютере. Один из сайтов, посвященных ИИ, взял на себя такую задачу. Результаты были опубликованы на видео и в блоге.
Большую языковую модель, используемую искусственным интеллектом, можно запустить даже на старом компьютере с процессором Pentium II и операционной системой Windows 98. Инструкции опубликованы в Интернете.
Эра агентов ИИ приближается. Google представляет искусственный интеллект, который автоматизирует работу в Google Chrome
Запуск искусственного интеллекта на основе большой языковой модели на компьютере с операционной системой Windows 98 может показаться невыполнимой задачей. Однако сайт EXO Labs доказывает, что благодаря специальной версии механизма вывода llama2.c это возможно. На сайте X было опубликовано видео, показывающее, что задача выполнена успешно. В блоге EXO Labs также есть запись, благодаря которой можно запустить модель на старом оборудовании. Создатели материала решили использовать компьютер, оснащенный процессором Intel Pentium II с тактовой частотой 350 МГц и 128 МБ оперативной памяти. В основу лег движок вывода llama98.c, который представляет собой модифицированную версию чрезвычайно компактного движка llama2.c, разработанного Андреем Карпати (бывшим сотрудником Tesla).
LLM работает на ПК с Windows 98
Аппаратное обеспечение 26-летней давности с процессором Intel Pentium II и 128 МБ оперативной памяти.
Использует llama98.c, наш собственный механизм вывода на чистом C, основанный на @karpathy llama2.c
Код и руководство по самостоятельной работе pic.twitter.com/pktC8hhvva
— Лаборатории EXO (@exolabs) 28 декабря 2024 г.
Компания Илона Маска xAI удвоила размер своего гигантского суперкомпьютера для обучения искусственному интеллекту
Проблемы появились в самом начале проекта. Никакая современная периферия, использующая USB-порт, не хотела работать с компьютером. Поэтому пришлось использовать клавиатуру и мышь на базе порта PS/2. Вторая проблема заключалась в переносе соответствующих файлов на компьютер. Ни один из современных носителей, принадлежащих авторам, не хотел работать с Windows 98. Поэтому было решено использовать протокол FTP. Источником файлов стал сервер FileZilla, работавший на MacBook Pro с процессором M4. Непросто было также скомпилировать языковую модель для Windows 98. В конечном итоге компилятор Borland C++ 5.02 выполнил свою функцию. В модель llama2.c также было внесено несколько изменений, а окончательный результат был доступен на GitHub.
NVIDIA снова разоряет банк. Ускорители искусственного интеллекта из серии Blackwell продаются как горячие пирожки
Конечно, производительность, достигаемая на устаревшем оборудовании, по сегодняшним меркам крайне низка. Запущенная таким образом модель Llama 3.2 с 1 миллиардом параметров (или, возможно, его фрагментом) имела производительность 0,0093 ток/с. Однако гораздо лучший результат был получен в случае модели Stories260K (260 000 параметров). Здесь нам удалось достичь 39,31 ток/с, что, безусловно, немалое значение, учитывая потенциальные возможности этого 25-летнего компьютера и тот факт, что все это работало исключительно на процессоре.
Источник: EXO Labs, Tom's Hardware.
