AMD почти достигла цели по энергоэффективности в 30 раз на год раньше: новые серверы искусственного интеллекта AMD в 28,3 раза эффективнее, чем версии 2020 года.

Эффективность производительности является ключом к быстрому увеличению скорости процессоров искусственного интеллекта и высокопроизводительных вычислительных технологий, поэтому AMD и другие компании яростно борются за нее с каждым новым поколением продуктов. Уже в 2021 году Компания поставила перед собой цель к 2025 году. повысить энергоэффективность своих процессоров EPYC и ускорителей Instinct в колоссальные 30 раз по сравнению с 2020 годом. Похоже, что благодаря своим новейшим процессорам серии EPYC 9005 «Turin» и графическим процессорам Instinct MI300X компания практически достигла своей цели, причем на год раньше.

Чтобы доказать свою точку зрения, AMD использовала машину, оснащенную двумя 64-ядерными процессорами EPYC 9575F, восемью ускорителями Instinct MI300X и 2304 ГБ памяти DDR5. На нем компания тестирует производительность генерации выходных данных в модели Llama3.1-70B (vLLM 0.6.1.post2, TP8 Parallel, FP8, непрерывная пакетная обработка). Используя сложный комплекс вычислений, AMD определила энергоэффективность этой системы и сравнила ее с неизвестной машиной 2020 года, обнаружив, что новая машина в 28,3 раза более энергоэффективна, чем старая.

AMD не раскрыла характеристики своей системы 2020 года, но можно предположить, что она основана на процессорах компании серии EPYC 7002, основанных на микроархитектуре Zen 2 с количеством ядер до 64 на процессор, и ускорителях Instinct MI100, которые на основе архитектуры CDNA 1.

AMD Instinct MI100 не поддерживает FP8 (в отличие от MI300X, который поддерживает его в той же степени, что и INT8), хотя, если мы сравним производительность INT8 у MI100 (184,6 TOPS) и MI300X (2615 TOPS/5230 TOPS с разреженностью), разница составит 14 – 28 раз. Примерно такую ​​же разницу можно увидеть и с FP16, так что сравнение корректно. Если учесть значительно лучшие подсистемы памяти (32 ГБ HBM2 со скоростью 1,20 ГБ/с против 192 ГБ HBM3 с 5,30 ГБ/с) и значительно лучшие процессоры, неудивительно, что нынешние машины AMD значительно быстрее и производительнее, чем системы 2020 года. При этом основной упор делается на то, что при этом они в десятки раз экономичнее.