Второе пришествие мэйнфреймов. Все больше компаний хотят использовать искусственный интеллект в своих офисах

Приложения искусственного интеллекта находят свое место в бизнесе. Но есть проблема: корпоративные данные и документация являются коммерческой тайной.. Их нельзя передать на аутсорсинг, особенно в облачную систему машинного обучения. Мало того, что трансфер сам по себе опасен, так еще и публичная модель начнет учиться на наших секретах, а затем помогать конкурентам.

В целом, коммерческим компаниям остается только один вариант: использовать собственный сервер или вычислительный кластер искусственного интеллекта. Итак, из эпохи облачных вычислений мы вернулись к старому доброму самостоятельному хостингу, только теперь речь идет о самостоятельных графических процессорах, серверах и мейнфреймах.

Между тем, рынок центров обработки данных также переживает второй ренессанс: по состоянию на 2022 год количество действующих центров обработки данных удвоится. Также запускаются новые облака, специально для вычислений с использованием искусственного интеллекта. В то же время Также растет спрос на «частные» мейнфреймы, которые вы можете установить на собственный хостинг, даже в своем офисе. А также для домашних вычислительных кластеров.

Например, интернет-стартап Gumlet, предоставляющий услуги хостинга, потоковой передачи и редактирования фотографий и видео, ушел из облака и построил собственный GPU-кластер для перекодирования видео (фотографии по-прежнему обрабатываются процессором), сэкономив тысячи долларов.

Для сравнения, один сервер (AMD 5700x, 64 ГБ DDR4, 512 ГБ NVMe SSD, графический процессор Nvidia RTX4000 ADA SFF) стоит $2300, а аренда такого сервера на AWS стоит $703 в месяц.

Многие другие компании также сэкономили миллионы долларов, перейдя с облака на самостоятельное размещение.

Частные мейнфреймы

В последнее время многие компании, не имеющие никакого ИИ, полагаются на собственные частные центры обработки данных и мэйнфреймы. Они пока не перешли в облако: это почти все банки, крупные страховые, финансовые, телекоммуникационные и авиакомпании. Теперь они стали первыми покупателями специализированных мэйнфреймов искусственного интеллекта, которые добавили их в свои собственные парки оборудования.

Для некоторых клиентов переход в облако вообще не вариант, если для них важна скорость транзакций – когда на счету каждая миллисекунда. Например, банки обнаруживают мошеннические транзакции за миллисекунды в режиме реального времени. Или компания, занимающаяся высокочастотной торговлей, для которой миллисекундная разница во времени покупки или продажи на фондовом рынке определяет разницу между прибылью и убытком.

Высокочастотные трейдеры даже размещают свои дата-центры как можно ближе физически к дата-центру биржи и прокладывают как можно более короткие оптоволоконные кабели, поскольку скорость света имеет большое значение.

С точки зрения производительности всем очевидно, что эффективнее разместить систему ИИ там, где находятся данные, а не копировать данные в удаленный центр обработки данных, где находится ИИ. Именно поэтому производители в последнее время отмечают рост продаж. По данным IBM, продажи мэйнфреймов к концу 2024 г. вырастет на 6% по сравнению с предыдущим годом.

Статистика IDC показывает, что в 2022 г. около 55% корпоративных данных хранится в публичных облаках, а к 2027 году эта доля вырастет до 71%. Но спрос на самостоятельный хостинг никогда не исчезнет, ​​пока вопросы безопасности и производительности остаются актуальными. Кроме того, постепенно стирается грань между частными дата-центрами и публичными облаками: они становятся похожими друг на друга с точки зрения аппаратной архитектуры и программного обеспечения.

Новое оборудование

Для вышеупомянутой системы z16 IBM выпустила новые процессоры Телум II для мэйнфреймов IBM z16 ИИ. Как уже отмечалось, этот процессор и новые мэйнфреймы могут работать с любым современным LLM, например ChatGPT.

Telum II не похож ни на один другой серверный процессор. Он имеет всего восемь ядер, но они работают на высокой частоте 5,5 ГГц и имеют 360 МБ встроенной кэш-памяти. Также на чипе имеется DPU для ускорения операций ввода-вывода и встроенный ускоритель искусственного интеллекта. Telum II производится по 5-нм техпроцессу Samsung.

Скорость и размер кэша играют важную роль в производительности системы. Здесь IBM применила необычное решение, разместив на кристалле до десяти модулей L2 по 36 МБ каждый, общим объемом 360 МБ. Для сравнения, кэш-память L3 в настольных и серверных процессорах AMD Zen 3 обычно составляет 32 МБ.

Восемь кэшей L2 у Telum II подключены к ядрам, еще один — к DPU, а последний, десятый, ни к чему не подключен.

Еще одна интересная деталь: о.отдельные кэши L2 на этом чипе вместе образуют «виртуальный кэш L3».). Согласно патенту IBM, каждый L2 имеет «метрику насыщения», основанную на том, как часто ядро ​​записывает туда данные. Когда L2 отбрасывает строку кэша, чтобы освободить место для входящих данных, эта отброшенная строка переходит к другому L2 с более низким показателем насыщения.

Единая система пула виртуальной памяти функционирует не только внутри чипа, но и во всем мейнфрейме. Таким образом, виртуальный кэш L4 организован на основе кэша L3 в CPC (Central Processor Complex) для z16.

Интересная деталь: вместе с этой системой IBM даже предлагает помощника по программированию искусственного интеллекта WatsonX (аналог Github Copilot и других), который, помимо прочего, поможет клиенту, например, переписать кодовую базу с Cobol на Java.

IBM z16 — это система с 40 ТБ памяти, специализированными процессорами для искусственного интеллекта и ценой до 1 миллиона. доллар. Главный компьютер в собранном виде весит около 820 кг.

IBM — крупнейший производитель мэйнфреймов в мире с долей рынка более 96%.. Конкуренты NEC, Fujitsu и Hitachi сильно отстают. Согласно статистике IBM, 90% крупнейших банков и 80% крупнейших авиакомпаний по-прежнему используют мэйнфреймы в качестве основной платформы. Мировой рынок таких систем в 2023 году. оценивается в 3,05 млрд. доллар.

В ближайшем будущем этот рынок явно изменится: все больше и больше компаний проявляют интерес к использованию моделей ИИ и хотят делать это на собственном оборудовании и самостоятельном хостинге. Возможностей здесь много: можно упомянуть, например, локальные облачные серверы 0xide, которые хоть и работают в облаке, но устанавливаются локально в офисе клиента.

Microsoft и Meta недавно представили новую серверную архитектуру под названием Гора Диаблопредназначенный для вычислений с искусственным интеллектом, где стойки электропитания отделены от вычислительных блоков.

В традиционных компьютерных системах плотность мощности в одной стойке обычно составляет менее 20 кВт, но в системах искусственного интеллекта она возрастает до сотен кВт. Чтобы адаптироваться к этим изменениям, необходимо оптимизировать все уровни инфраструктуры. В этом случае единая стойка разделяется на серверные и силовые стойки, каждая из которых оптимизирована для выполнения своей основной функции. Это позволяет, среди прочего, разместить в одной стойке на 35% больше ускорителей искусственного интеллекта.

Домашний сервер

Современные серверы можно устанавливать не только в серверных комнатах офиса, но и дома. Некоторые производители даже предлагают построить интерьер в виде серверных шкафов. В таком интерьере среди комодов, обуви и одежды вполне естественно будет смотреться компьютерная техника:

Эти стеллажи чем-то напоминают модульную стеллажную систему или знаменитый LackRack — серверную стойку, сделанную из стола Ikea:

Оказывается, по счастливому стечению обстоятельств размеры этих столов полностью совпадают с размерами стандартных серверных модулей.

Существуют AnythingLLM, llamafile, Ollama, GPT4All и другие среды рабочего стола для локального запуска ИИ на вашем компьютере.

Llama 3.3 70B работает на MacBook с 64 ГБ оперативной памяти. И это последняя модель класса GPT-4.

В общем, создать собственный компьютерный кластер для ИИ-вычислений в вашей компании — вполне реальная задача. Самые маленькие LLM работают даже на ноутбуках. Например, есть агент автодополнения исходного кода Twinny, плагин для Visual Studio Code, аналог GitHub Copilot, только он полностью локальный и 100% приватный.

Вот другие системы искусственного интеллекта, разработанные специально для самостоятельного размещения:

• Ходж,
• Локальный ИИ,
• лама.cpp,
• … см. также сообщество /r/LocalLLaMA/.

Все это можно установить на домашний сервер.

Искусственный интеллект и вопрос доверия

Вопрос доверия к ИИ остается открытым: в какой степени мы можем доверять тому, что агент ИИ действует в наших интересах, а не в своих? Например, анализ безопасности ИИ-девочек показывает тревожные признаки: выяснилось, что девочки собирали личную информацию о мальчиках и отправляли ее на удаленный сервер. Также отмечены случаи саботажа программного кода помощниками ИИ.

Уже доказано, что ИИ лжет более убедительно, чем люди. И с этим у человечества уже есть серьёзные проблемы: уровень общественного доверия ко всем институтам упал до абсолютного минимума, и это делает социальные операции более дорогими и препятствует экономическому развитию.

Широкое использование LLM может ухудшить ситуацию.

Дипфейки и дезинформация сейчас стали обычным явлением. ИИ также открывает двери для еще большего массового наблюдения и мониторинга.

Сейчас ученые изучают, как меняется поведение человека в присутствии вездесущих помощников ИИ. Наблюдаются некоторые интересные эффекты. Например, в одном эксперименте игрокам-людям была представлена ​​онлайн-игра, в которой им нужно было найти цель и щелкнуть по ней, чтобы запустить анимацию, хотя на самом деле алгоритм запускал анимацию до того, как игрок щелкнул мышью. Анимация основана на истории прошлых движений игрока и начале текущего движения руки. Исследователи использовали моделирование машинного обучения, чтобы определить, как геймеры рассчитывают свое ощущение власти над анимацией. И в конце концов они обнаружили, что менее чем за час игроки адаптировались к новому ощущению фактического управления анимацией, даже несмотря на то, что анимация появлялась до нажатия кнопки.

Ученые полагают, что результаты этого исследования помогут адаптировать системы искусственного интеллекта к человеческой психике в будущем. Алгоритмы позволят создать такую ​​механику, при которой люди всегда сохранят ощущение контроля над ситуацией, даже если действия запрограммированы и происходят заранее. На самом деле это опасное изобретение, особенно в определенных ситуациях, когда люди чувствуют себя лучше от удобной лжи, чем от горькой правды. Человек как будто заранее запрограммирован на обман.

Существуют методы обучения искусственного интеллекта лжи, а в даркнете продаются нелегальные версии LLM, обученные специально для создания вредоносного кода (FraudGPT, WormGPT и т. д.). Поэтому вопрос доверия к ИИ остается открытым.