120 миллиардов параметров на графический процессор с 80 гигабайтами-Openai зависит от MXFP4, оспаривая монополию NVIDIA
Openai вышел на ринг с 4 битами и остался без противников.
OpenAI представил новые модели открытого веса-GPT-OSS, но фокус был не столько на сами моделях, сколько на форме MXFP4который компания использует для их количественной оценки. Этот неизвестный тип данных, если он воспринимается другими разработчиками, может радикально снизить стоимость реализации и работы с крупными языковыми моделями.
MXFP4 представляет собой 4-битный формат плавучих чисел запятой, разработанных в рамках инициативы «Открытый вычисление проекта». Но в отличие от обычного FP4, в этом формате используется структура блока микро -кат для компенсации ограниченной точности путем применения общего коэффициента масштабирования к небольшим группам значений. Каждый блок, состоящий из 32 чисел, кодируется с использованием общего 8-битного экспоненциального коэффициента.
Этот подход позволяет преобразовать исходные значения в более точные представления, чем обычный FP4. Один пример из четырех чисел в формате BF16 — 0,0625, 0,375, 0,078125 и 0,25 — показывает, что при непосредственном преобразовании в FP4 они округлены до 0, 0,5, 0 и 0,5, теряя значительную часть информации. В формате MXFP4, после масштаба и обратного, они ближе к исходным значениям-0,0625, 0,375, 0,09375 и 0,25.
Проще говоря: MXFP4 — это новый тип чисел, изобретенные, чтобы языковые модели, такие как CHATGPT, могли бы быстрее занимать пространство и работать. Обычно эти модели хранят миллиарды чисел с высокой точностью, что требует много видео и мощного оборудования. MXFP4 уменьшает размер этих чисел до 4 бит, но не напрямую, но благодаря хитрости: он требует группы значений и масштабирует их при общем значении. Это помогает поддерживать точность, несмотря на небольшой размер каждого числа.
Использование MXFP4 может значительно сократить объем видео для частоты и требования к вычислительным ресурсам, особенно в выводах. В случае моделей, обученных в формате BF16, переход к MXFP4 может снизить затраты на 75%S Это делает его особенно привлекательным для облачных платформ и компаний, которые хотят запустить модели более доступной инфраструктуры.
Согласно OpenAI, 90% весов в GPT-BC преобразуются в MXFP4, что позволяет модели с 120 миллиардами параметров работать над графическими процессорами с 80 ГБ видео для саке и версией параметров 20 миллиардов устройств 16 ГБ. В то же время ускорение токенов, генерирующих четыре раза.
Повышение производительности объясняется тем фактом, что количество плавающих запятых операций, которые могут выполняться с помощью чипа, увеличивается с уменьшением размера образа жизни. Например, NVIDIA B200 может обрабатывать около 2,2 Petaflopes в BF16, но производительность увеличивается до 9 Petaflopes при переключении на FP4. Даже когда FP4 не поддерживается на уровне аппаратного обеспечения, как в случае H100, модели форматов MXFP4 работают должным образом, хотя и не полностью эффективны.
Хотя идея количественного определения веса давно известна, многие модели в 4-битных или FP8-форматах воспринимаются как компромисс из-за потери качества. В случае MXFP4 потеря минимальна, но все еще существует. Например, NVIDIA считает, что блоки 32 значений недостаточно точны и способствует своему собственному формату NVFP4 с меньшими блоками и масштабированными на основе FP8.
Тем не менее OpenAI уже сделал свой выбор в пользу MXFP4: В формате BF16 или FP8 нет моделей GPT-B. Это решение фактически посылает сигнал в отрасль: если OpenAI находит MXFP4 приемлемым, другие участники рынка должны хотя бы рассмотреть его более внимательно.
Для поставщиков облачных услуг это может быть отличным, поддерживать новости, эти модели потребуют меньше ресурсов, что делает их более дешевыми и более доступными. И если другие компании следуют примеру OpenAI, переход к MXFP4 может стать промышленным стандартом — не только из -за технологических аргументов, но и из -за руководящей должности.
