В iPhone 17 Pro локально использовалась модель искусственного интеллекта с 400 миллиардами параметров, для чего требовалось более 200 ГБ ОЗУ.

Последние устройства Apple демонстрируют весьма неожиданные возможности в области искусственного интеллекта, хотя и с очевидным недостатком. iPhone 17 Pro смог локально запустить большую языковую модель с 400 миллиардами параметров, что для смартфона звучит почти нереально.

Демо-версия является частью проекта с открытым исходным кодом Flash-MoE, которым поделился разработчик anemll. Модели искусственного интеллекта такого масштаба обычно требуют для работы более 200 ГБ ОЗУ, что делает их запуск на устройстве с 12 ГБ ОЗУ в обычном смысле практически невозможным.

Однако в данном случае речь идет о другом подходе.

Вместо того, чтобы загружать всю модель ИИ в память, система по мере необходимости достает из хранилища нужные фрагменты. Также используется архитектура «MoE» (Смесь экспертов), где в любой момент времени активна лишь небольшая часть модели ИИ. Именно эта комбинация позволяет системе ИИ работать.

И вот здесь проблема со скоростью, а точнее, с ее отсутствием. Модель ИИ генерирует примерно 0,6 токенов в секунду, что означает ожидание одного слова в несколько секунд. Это настолько медленно, что даже простые запросы начинают испытывать ваше терпение. Еще одна потенциальная проблема — высокий разряд батареи, чего и следовало ожидать при такой нагрузке. Несмотря на медленную скорость, это интересный эксперимент. Не потому, что его можно использовать немедленно, а потому, что он показывает, куда можно пойти. До недавнего времени запуск чего-то такого большого на устройстве, без облака, даже не рассматривался.

В настоящее время существует явный разрыв между тем, что возможно, и тем, что практично. Меньшие модели искусственного интеллекта по-прежнему являются практичным выбором, но подобные эксперименты дают представление о том, что будущие смартфоны смогут делать намного лучше.