Серверная система охлаждения с NVIDIA GB300 NVL72 стоит столько же, сколько хороший автомобиль. Это реальная цена ИИ-революции в дата-центрах

Эра традиционного воздушного охлаждения в центрах обработки данных искусственного интеллекта подходит к концу. С появлением мощных графических ускорителей, TDP которых превышает 1000 Вт, серверы превращаются в радиаторы. Новейшая платформа NVIDIA Blackwell Ultra NVL72, суперкомпьютер в одной стойке, генерирует более 100 кВт тепла. Такая вычислительная мощность требует инновационного, но невероятно дорогого подхода к охлаждению. Какова истинная цена удержания этой власти под контролем?

Morgan Stanley оценивает компоненты охлаждения для одной стойки NVIDIA GB300 NVL72 почти в $50 000, а для преемника Vera Rubin NVL144 стоимость вырастет еще на 17 процентов, или более $55 000.

Microsoft разрабатывает методы жидкостного охлаждения внутри чипов, которые могут обеспечить в три раза более низкую температуру

Morgan Stanley недавно опубликовал подробную расценку на тепловые компоненты для серверных систем NVIDIA. Общая стоимость систем охлаждения в одной стойке GB300 NVL72 составляет ровно 49 860 долларов США. Сумма впечатляет, но становится понятной, если присмотреться к характеристикам. В каждой стойке установлено 72 графических процессора Blackwell Ultra с TDP 1400 Вт каждый, что обеспечивает более 100 кВт тепла только для графического процессора. Добавьте 36 процессоров Grace и модули памяти SOCAMM, и общая пиковая потребность в энергии достигнет 120–130 кВт. Традиционное воздушное охлаждение невозможно при такой плотности мощности. NVIDIA использовала усовершенствованное жидкостное охлаждение непосредственно на чипах (direct-to-chip Liquid Cooling). Система состоит из 18 вычислительных модулей (вычислительных лотков) и 9 модулей сетевых коммутаторов. Morgan Stanley оценивает компоненты охлаждения для одного вычислительного модуля в 2260 долларов США (всего 40 680 долларов США), а для модулей коммутаторов — в 1020 долларов США (9180 долларов США). Высокопроизводительные охлаждающие пластины являются самыми дорогими.

Флагманская видеокарта GeForce RTX 5090 FE спасена от выбрасывания. NVIDIA удивляет решением, несмотря на вину пользователя

Давайте представим себе охлаждение как систему кровообращения организма. Он должен функционировать идеально, сохраняя прохладу и рассеивая тепло, прежде чем вы перегреетесь. Как мы писали ранее в контексте проблем со стойками GB200, NVIDIA пришлось доработать конструкцию своих систем именно из-за недостаточного управления температурой. Morgan Stanley прогнозирует, что грядущая платформа Vera Rubin NVL144, которая заменит Blackwell во второй половине 2026 года, потребует еще более дорогого охлаждения. Стоимость увеличится примерно на 17%. до 55 710 долларов за стойку. Платформа Vera Rubin обеспечит производительность 3,6 эксафлопс с точностью FP4, что в 3,3 раза больше, чем у GB300 NVL72. По мере увеличения вычислительной мощности увеличивается потребность в энергии и количество рассеиваемого тепла.

Китайцы решили проблему перегрева чипов. Microsoft и NVIDIA могут забыть о гигантских системах охлаждения

Это симптом более широкой тенденции в отрасли. Как мы сообщали, NVIDIA перешла на агрессивный ежегодный цикл выпуска новых архитектур. Операторы центров обработки данных должны постоянно адаптировать свою инфраструктуру охлаждения к все более горячим системам. Рынок технологий охлаждения центров обработки данных оценивается в 4,9 миллиарда долларов в 2024 году с прогнозом роста до 21,3 миллиарда долларов к 2030 году. Для операторов эти цифры означают огромные изменения в инвестиционном планировании. Когда сама тепловая система стоит столько же, сколько новый автомобиль, расчет совокупной стоимости владения выглядит совершенно иначе. С другой стороны, жидкостное охлаждение дает значительные преимущества. NVIDIA заявляет, что системы GB200 NVL72 обеспечивают до 300 раз большую эффективность использования воды и до 25 раз большую энергоэффективность, чем традиционные решения. Это приводит к снижению эксплуатационных расходов и уменьшению выбросов углекислого газа. На конкурсе пока нет решений сопоставимого масштаба. AMD и Intel также инвестируют в жидкостное охлаждение, но ни одна компания не достигла такого уровня интеграции в масштабе стойки, как NVIDIA с платформами NVL. Это дает «зеленой» компании значительное преимущество перед такими компаниями, как Microsoft, Google и Amazon, которые строят гигантские «фабрики искусственного интеллекта», требующие максимальной плотности вычислений.