Еще одна альтернатива платформам NVIDIA: IBM объединила усилия с Groq
IBM и Groq объявили о стратегическом партнерстве, чтобы предоставить клиентам высокоскоростной вывод ИИ по доступной цене за счет объединения IBM Watsonx Orchestrate с аппаратными решениями Groq, что ускорит развертывание систем агентов ИИ. В рамках партнерства Groq и IBM планируют интегрировать и усовершенствовать технологию Red Hat vLLM с архитектурой Groq LPU.
Ожидается, что совместное решение позволит клиентам использовать возможности Watsonx Orchestrate привычным способом и с помощью знакомых инструментов платформы вывода GroqCloud, которая предоставляет разработчикам доступ к высокоскоростной и недорогой обработке LLM. Эта интеграция позволит удовлетворить основные потребности разработчиков ИИ, включая оркестрацию вывода, балансировку нагрузки и аппаратное ускорение, что в конечном итоге оптимизирует сам процесс вывода. Для клиентов IBM также запланирована поддержка моделей IBM Granite в GroqCloud.
IBM отмечает, что предприятия продолжают сталкиваться с проблемами скорости, стоимости и надежности при переходе агентов ИИ от пилотного проекта к промышленному производству. Партнерство между IBM и Groq сочетает в себе скорость вывода, экономическую эффективность Groq и доступ к новейшим моделям с открытым исходным кодом с оркестровкой AI-агентов IBM, предоставляя клиентам инфраструктуру, необходимую для масштабирования, заявили в компании.
IBM также сообщает, что LPU обеспечивают как минимум в пять раз более быстрый и экономичный вывод, чем системы на базе ускорителей конкурентов, очевидно, имея в виду NVIDIA. Это обеспечивает стабильно низкую задержку и производительность при масштабировании рабочих нагрузок, что особенно важно для агентов ИИ в регулируемых отраслях. В качестве примера IBM привела клиентов в сфере здравоохранения, которые одновременно получают от пациентов тысячи сложных вопросов. С помощью Groq ИИ-агенты IBM смогут анализировать информацию в режиме реального времени и немедленно предоставлять точные ответы, что позволит организациям в этом секторе принимать более быстрые и обоснованные решения.
В нерегулируемых отраслях клиенты IBM могут использовать платформу GroqCloud для повышения производительности агентов искусственного интеллекта, а также автоматизации HR-процессов и производительности сотрудников. IBM объявила, что немедленно предоставит клиентам возможности GroqCloud, а ее команды, сотрудничающие с Groq, сосредоточатся на предоставлении клиентам IBM следующих возможностей:
- высокоскоростной и высокопроизводительный вывод;
- реализация ИИ с упором на безопасность и конфиденциальность, разработанная с учетом самых строгих нормативных и нормативных требований;
- интеграция с агентным продуктом IBM, платформой Watsonx Orchestrate, дает клиентам гибкость в использовании специализированных шаблонов алгоритмов агентов, адаптированных к различным сценариям использования.
Groq привлек $1,8 млрд финансирования, включая раунд финансирования в $750 млн в прошлом месяце при оценке в $6,9 млрд. В число его инвесторов входят Cisco и Samsung. Groq также сотрудничает с Saudi Aramco Digital. По данным Wall Street Journal, в этом году компания запустила 12 дата-центров и планирует запустить еще как минимум 12 к 2026 году. В 2024 году Groq изменила свою операционную модель — она больше не продает свои ускорители искусственного интеллекта, а вместо этого предлагает строить дата-центры или облачные сервисы.
