Мы узнали детали спецификации памяти от HBM4 до HBM8. Встроенный -в охлаждении, высокой полосе пропускания и плотности памяти

Multi -Layed Memory HBM сопровождала нас годами. Хотя у них был короткий эпизод в оборудовании потребителя, например, в видеокартах из серии AMD Radeon Vega, они доминируют на сегменте сервера. Теперь мы узнали детали спецификации предстоящей памяти HBM4, а также планы для последующих поколений, достигнув до HBM8, который уже должен был создан -в охлаждении, но также и буквально космические параметры.

Каист и Тера опубликовали подробные спецификации и планы по разработке HBM4 до HBM8. Было объявлено значительное увеличение пропускной способности и плотности, а также введение встроенного охлаждения.

AMD Instinct MI400 с 432 ГБ памяти HBM4 дебютирует в 2026 году. AMD Epyc Verano с премьерой в 2027 году.

KAIST (Корея передового института науки и технологий) и Tera (Terabyte Interconnection and Package Laboratory) опубликовали планы спецификации и разработки для операционной памяти HBM. Мы начинаем обсуждение с предстоящей памяти HBM4, которая должна достичь систем из серии AMD Instinct Mi400 и Nvidia Rubin и Rubin Ultra. Интересно, что мы узнаем из презентации во многих подробностях о предстоящих и запланированных системах NVIDIA. GPU R200 (Рубин) будет изготовлен из двух чипов, где каждый будет иметь площадь 728 мм², а потребление мощности в 800 Вт. Сам интерпозец (плитка под чипсами) будет иметь размер 2194 мм² (46,2 мм × 48,5 мм), и в целом будет использоваться восемь бостей HBM4, разыгрывая общую пропускную способность 16 или 32 TB/S. Вся система будет характеризоваться энергопотреблением 2200 Вт.

NVIDIA объявляет Рубин и Рубин Ультра, новое поколение графического процессора и процессора, обеспечивающего высокую эффективность в расчетах

Конкурентный AMD Instinct Mi400 Accelerator, обсуждение которого можно найти в отдельном материале, также будет оснащен HBM4. В его случае будет предложено емкость до 432 ГБ и общая мощность 19,6 ТБ/с — для сравнения, серия Nvidia Rubin должна иметь от 288 до 384 ГБ памяти HBM4. Возвращаясь к самой технологии HBM4, новый стандарт предлагает скорость передачи данных при 8 Гбит/с, 24 ГБ плотности (то есть 3 ГБ) на один слой, способность всей кости 36 или 48 ГБ (в зависимости от того, используются ли 12 или 16 слоев), а также потребление энергии 75 Вт на кость. Стоит также упомянуть запланированную версию HBM4E, которая увеличит скорость передачи до 10 Гбит/с, пропускная способность до 2,5 ТБ/SI обеспечит плотность до 32 ГБ (4 ГБ) на уровень. Это позволит общая мощность кости 48 или 64 ГБ, в зависимости от количества слоев (12 или 16), при этом увеличивая энергопотребление до 80 Вт.

Nvidia Rubin — Работа над новым поколением AI -акселераторов работает гладко. Скоро доставка памяти HBM4

В случае памяти HBM5, скорость передачи данных, количество ввода/вывода линий и количество слоев останутся на уровне, известном из HBM4 в 16-слойной версии. Тем не менее, ключевые параметры изменятся, полоса пропускания одной кости удваивается до 4 ТБ/с, плотность одного слоя увеличится до 40 ГБ (то есть 5 ГБ). В результате максимальная емкость одной кости составит 80 ГБ, с энергопотреблением 100 Вт. Ожидается, что новые модули HBM5 будут достигнуты системы серии Feynman, в частности, в чипе F400. Это будет сделано из четырех чип, каждая из которых будет охватывать площадь 750 мм² с энергопотреблением 900 Вт. Как и Nvidia Rubin, чип F400 будет использовать восемь костей HBM5, но в этом случае вся система достигнет высокой пропускной способности 48 ТБ/SI энергопотребление до 4400 Вт.

AMD CDNA 4 — Описание архитектуры для ускорителей для искусственного интеллекта на примере систем из серии Instinct MI350

Пока не известно, будет ли создана память HBM5E. Тем не менее, согласно объявлению, премьера HBM6 запланирована на 2032 год и приведет к двойной пропускной способности и скорости передачи данных до 8 ТБ/Si 16 ГБ/с соответственно. Количество слоев также изменится: запланированы 16- и 20-слойные варианты, а плотность одного слоя увеличится до 48 ГБ (6 ГБ). Это означает, что одна кость будет предлагать емкость 96 или 120 ГБ, с энергопотреблением 120 Вт. Однако наибольшей новистью будет необходимость использования охлаждения погружения в специализированной и непродуктивной жидкости, в отличие от предыдущих поколений. Доступная графика показывает, что высота самой кости не будет изменяться и будет оставаться 720 мкм. С другой стороны, способ упаковки слоев будет подвергаться эволюции вместо технологии Microbump (MR-MUF), будет использоваться прямая связь Cu-CU. Это означает отказ от микролютов в пользу прямого контакта двух чрезвычайно чистых медных поверхностей, что позволяет уменьшить расстояние между слоями, лучшее рассеяние тепла и поддержку для более высоких скоростей передачи данных.

AMD Instinct Mi350x и Instinct Mi355x официально представлены — ускорители на основе архитектуры CDNA 4

Интересно, что Кайст и Тера говорят, что преемник GPU из семейства Фейнмана состоит из восьми чип, каждый из которых будет иметь площадь 700 мм², а потребление мощности — 1000 Вт. Сам интерпозец будет иметь впечатляющую площадь 6014 мм² (102,8 мм × 58,5 мм) — одна из его сторон составляет 10 см в длину 🙂 Вся система заключается в загрузке до 5920 Вт. Однако передача в астрономическую общую емкость 1024 ТБ/SI 5120 или 6144 ГБ. Согласно планам, весь графический процессор должен загрузить 15 360 W.

Samsung планирует небольшую революцию в чипсах ИИ. Стеклянные интерфейсы должны повысить эффективность и снизить затраты к 2028 году

Память HBM7 значительно повысит передачу данных до полосы пропускания 24 ГБ/SI до 24 ТБ/с. Количество линий ввода/вывода до 8192, и количество слоев до 20 и 24. Плотность слоя увеличивается до 64 ГБ (8 ГБ), а вся кость будет иметь емкость 160 или 192 ГБ с энергопотреблением 160 Вт. В случае HBM8 стандарт памяти будет появляться только в 2038, в том числе ожидаемая спецификация. Скорость 32. Предложите пропускную способность полосы пропускания костей 64 ТБ/с со слоем 80 ГБ (10 ГБ). Таким образом, один модуль HBM8 будет иметь емкость 200 или 240 ГБ в зависимости от количества слоев 20 или 24. Потребление мощности в одной кости должно увеличиться до 180 Вт. Стоит отметить, что если фактически появляется структура 32 кости, то мы говорим о суммарном энергопотреблении только из памяти на уровне 5760 Вт.

Наступает NVIDIA N1X, то есть система, которая использует архитектуру ARM. Устройство протестировано в тесте Geekbench

Дополнительными функциями, общими для памяти HBM7 и HBM8 для использования стеклянных интерфейсов и архитектуры HBM-HBF (HBM-гетерогенная базовая ткань). Это решение позволяет подключать слои флэш -памяти NAND (до 128 слоев) напрямую и параллельно с слоями HBM в одной интегрированной структуре. Внутренняя связь состоит в том, чтобы достичь емкости до 2 ТБ/с, что значительно увеличит не только доступную мощность, но также устранит существующие узкие места передачи данных. Стоит также отметить, что кости HBM7 и HBM8 потребуют жидкого охлаждения, встроенного в интегрированные схемы. Стоит также отметить, что спецификации HBM указывают на четкие тенденции, каждое новое поколение удваивает пропускную способность, а с HBM7 и HBM8 ожидается особенно большой прыжок. Кроме того, способность одной кости увеличивается на 50% каждые три года.

Источник: Wccftech, Kaist, Tera