NVIDIA представила GB300 Blackwell Ultra-самый мощный акселератор ИИ с 20 480 ядрами CUDA, 288 ГБ HBM3E Memory и PCIE 6.0

Nvidia публикует подробную информацию об AI Accelerator GB300 Blackwell Ultra. Он отличается от своего предшественника GB200 с увеличенным количеством ядер и размера памяти, более быстрым интерфейсом и более высокой мощностью. В основе NVIDIA GB300 есть два кристалла с 208 миллиардами транзисторов — они изготавливаются с использованием технологии TSMC 4NP и работают в качестве одного графического процессора (Графический процессор) Спасибо Inv-HBI Interconnector со скоростью 10 ТБ/с.

Графический процессор содержит 160 потоковых мультипроцессоров, каждый из которых с 128 ядрами CUDA — в общей сложности 20 480 ядер, а также пятигенсорные тензорные ядра с поддержкой FP8, FP6 и новым форматом NVFP4. Каждый мультипоцессор имеет 256 КБ тензорной памяти (TME) — в общей сложности 40 МБ. Дополнительные аппаратные блоки также предоставляются для трансцендентальных расчетов и операций, оптимизированных для вычислительных ядер.

Память организована в восьми 12-слойных стеке HBM3E с общей мощностью 288 ГБ. Пропускная способность памяти NVIDIA GB300 не изменилась по сравнению с GB200 и составляет 8 ТБ/с, организованную в 16 каналах по 512 бит каждый (8192-битный интерфейс) Увеличение емкости памяти позволяет всей модели ИИ может быть расположена на чипе, а также хранить большие количества кэш -памяти для ключей и значений без выгрузки внешних ресурсов. TGP был увеличен до 1400 Вт.

Связь между графическими процессорами осуществляется через интерфейс NVLink 5 с двухэтажной скоростью передачи данных 1,8 ТБ/с в секунду для каждого графического процессора. Связь между графическим процессором и процессором Grace осуществляется через интерфейс NVLINK-C2C со скоростью 900 ГБ/с и обслуживанием одного адресного пространства.

Для подключения к хосту автобус PCIE 6.0 x16 с двумя пропускными способностями 256 ГБ/с является первой для NVIDIA. Ускорители могут быть установлены на стенде GB300 NVL72 с 72 графическими процессорами, до 20,7 ТБ HBM3E памяти и общей полосой HBM 576 ТБ/с. Существует также 72 ядра Grace Superchip Arm и до 480 ГБ LPDDR5X с проницаемостью 512 ГБ/с.

NVFP4 — это новый формат данных с низкой точностью, реализованный в тензорных ядрах. Он обеспечивает точность, сравнимую с FP8, но использует в 1,8 раза меньше памяти. Массовое производство акселераторов ИИ Nvidia GB300 уже началось, и первые клиенты получили их.