Google представила процессоры Axion Arm и тензорный ускоритель Ironwood для обучения и запуска огромных моделей искусственного интеллекта

Сегодня Google представила свои новые процессоры Axion и тензорный ускоритель Ironwood, которые представляют собой седьмое поколение TPU. По данным компании, чипы Axion на 50% быстрее и на 60% более энергоэффективны, чем сегодняшние. х86 процессоров, а Ironwood TPU — самый высокопроизводительный и масштабируемый настраиваемый ускоритель искусственного интеллекта на сегодняшний день и первый среди чипов Google, созданный специально для работы с обученными моделями искусственного интеллекта (вывод).

Ironwood TPU будет поставляться в системах в двух конфигурациях: с 256 или 9216 чипами. Пиковая вычислительная мощность одного ускорителя составляет 4614 Тфлопс (РП8), а кластер из 9216 чипов в сумме выдаёт 42,5 Эфлопс при энергопотреблении около 10 МВт. Такая производительность намного превышает возможности системы Nvidia GB300 NVL72, которая составляет 0,36 Эфлопс при операциях FP8.

Ironwood имеет усовершенствованный блок SparseCore, предназначенный для работы с моделями искусственного интеллекта, используемыми в системах ранжирования и рекомендаций. Передовая реализация SparseCore от Ironwood позволяет ускорить более широкий спектр рабочих нагрузок, выходя за рамки традиционной области ИИ в финансах и науке.

Между собой модули соединены между собой с помощью фирменной сети Inter-Chip Interconnect на скорости 9,6 Тбит/с и содержат примерно 1,77 ТБ памяти HBM3E, что также превосходит возможности конкурирующей платформы Nvidia. Их можно сгруппировать в кластеры из сотен тысяч ТПУ.

Эта интегрированная суперкомпьютерная платформа, которую Google называет «гиперкомпьютером искусственного интеллекта», сочетает в себе вычислительные функции, функции хранения и сетевые функции на одном уровне управления.

Для повышения надежности Google использует реконфигурируемую матрицу коммутации оптических цепей, которая мгновенно обходит любые аппаратные сбои и поддерживает бесперебойную работу.

По данным IDC, этот «гиперкомпьютер с искусственным интеллектом» обеспечивает среднюю окупаемость инвестиций в течение трех лет (рентабельность инвестиций) на 353 %, сокращение расходов на ИТ на 28 % и повышение операционной эффективности на 55 %. Несколько компаний уже внедряют эту платформу Google. Anthropic планирует использовать до 1 миллиона TPU для запуска и расширения семейства моделей искусственного интеллекта Claude, ссылаясь на значительное соотношение цены и производительности. Lightricks начала использовать Ironwood для обучения и поддержки своей мультимодальной системы LTX-2.

Полные характеристики универсальных процессоров Axion пока не опубликованы, в частности, не раскрыты тактовые частоты и используемая технологическая схема. Сообщается, что процессоры имеют 2 МБ кэш-памяти уровня 2, 80 МБ кэш-памяти уровня 3, поддерживают память DDR5-5600 MT/с и технологию Uniform Memory Access (УМА).

Сообщается, что Axion построен на платформе Arm Neoverse v2 и, как ожидается, обеспечит до 50% более высокую производительность и до 60% большую энергоэффективность по сравнению с сегодняшними процессорами x86. Google утверждает, что он также на 30% быстрее, чем «самые быстрые универсальные экземпляры на базе Arm, доступные сегодня в облаке».

Процессоры Axion могут использоваться как в серверах искусственного интеллекта, так и в серверах общего назначения для различных задач. В настоящее время Google предлагает три конфигурации Axion: C4A, N4A и C4A Metal.

C4A обеспечивает до 72 виртуальных процессоров, 576 ГБ памяти DDR5 и сетевое подключение со скоростью 100 Гбит/с в сочетании с локальным хранилищем Titanium SSD емкостью до 6 ТБ. Экземпляр оптимизирован для обеспечения стабильно высокой производительности в различных приложениях. Это единственный чип, доступный на сегодняшний день.

N4A предназначен для общих рабочих нагрузок, таких как обработка данных, веб-сервисы и среды разработки, но масштабируется до 64 виртуальных процессоров, 512 ГБ оперативной памяти DDR5 и сетевого подключения со скоростью 50 Гбит/с.

C4A Metal предоставляет клиентам полный аппаратный стек Axion: до 96 виртуальных процессоров, 768 ГБ памяти DDR5 и пропускную способность сети 100 Гбит/с. Экземпляр предназначен для специализированных приложений или приложений с ограниченной лицензией, а также для разработки на базе ARM.

Процессор Axion дополняет портфель специализированных чипов компании, а TPU Ironwood создает основу для конкуренции с лучшими ускорителями искусственного интеллекта на рынке. Серверы на базе Axion и Ironwood оснащены фирменными контроллерами Titanium, которые разгружают ЦП задачи по работе в сети, безопасности и обработке ввода-вывода, обеспечивая более эффективное управление и, как следствие, более высокую производительность.