Alibaba представила модель QWEN2,5-Monti-3B, которая может быть запущена на компьютере или ноутбуке

На этой неделе китайская компания Alibaba представила свое ведущее семейство QWEN3, которое использует метод «экспертов по смешиванию» для достижения результатов, сопоставимых с результатами гибридных моделей рассуждений. Всего несколько дней спустя гигант в области электронной коммерции и облачных расчетов представил легкий QWEN2,5-Монт-3B, основанный на архитектуре, основанной на предыдущем поколении, которая предназначена для локального использования пользовательских компьютеров и ноутбуков.

QWEN2.5-MONI-3B-меньшая версия ведущего алгоритма с 7 миллиардами параметров, Сокращено до 3 миллиардов параметровS Несмотря на уменьшенный размер, эта версия модели II сохранила более 90% мультимодальной производительности и может обеспечить онлайн -генерацию как текста, так и естественной речи.

Разработчики смогли добиться значительного улучшения эффективности памяти графического ускорителя. Отмечается, что QWEN2,5-Монт-3B снизил потребление видео для 50% при обработке длинных контекстов до 25 000 токенов. После оптимизации настроек потребление памяти уменьшилось на 60,2 гигабайта для модели с 7 миллиардами параметров до 28,2 гигабайт для 3 миллиардов параметров. Благодаря этому алгоритм QWEN2,5-Monti-3B может быть установлен и использован на устройстве, которое использует 24 ГБ видео-видео-акселератор. Подобные видеокарты обычно помещаются на первые персональные компьютеры и ноутбуки.

Алгоритм QWEN2,5-Monti-3B уже уже отозван Обнимая лицо, Github и Modelscope. Тем не менее, условия лицензирования позволяют использовать алгоритм только для исследовательских целей. Это означает, что коммерческие продукты на базе Quen2,5-Monti-3B не могут быть созданы без лицензии от Alibaba на использование моделей QWEN. Результаты сравнительных тестов алгоритма показывают, что, несмотря на уменьшенный размер модели искусственного интеллекта, она остается полностью конкурентоспособной.