Надзор по ИИ потерпел неудачу. Как стоимость 2,8 млн. Долл. США, правительственный отчет был оспорен неподготовленными данными из модели LLM

ИИ все больше помогает в создании анализа и официальных документов. Эта технология предлагает огромные возможности, но также включает в себя риск. Отсутствие надлежащей проверки содержания, генерируемого ИИ, может привести к серьезным ошибкам. Инцидент, который произошел в Канаде, является отличным примером. Это показывает, насколько легко можно оспорить достоверность важного отчета, если вы некритически доверяете инструментам, основанным на крупных языковых моделях.

Происходят ошибки, но изобретенные цитаты — это совершенно другая вещь — они в основном разрушают доверие к материалу — Джош Пепсавский, бывший председатель Ассоциации факультетов Мемориального университета.

Это конец мира ИТ, который мы знаем. Искусственный интеллект не уводит вас с работы, но он сделает это сотрудника, который может его использовать

Действующий документ был опубликован в канадской провинции Нова Фандленд и Лабрадор. Отчет «Образовательный соглашение NL» был нацелен на модернизацию системы образования. Одна из его глав была посвящена этической и ответственной реализации новых технологий, включая искусственный интеллект. В документе подчеркивается риск, связанный с неточности и смещением алгоритмов. Ирония ситуации заключается в том, что сам отчет стал примером этих угроз. Журналист CBC News обнаружил много нарушений в библиографии документа. По крайней мере, 15 цитируемых научных публикаций просто не существовали. Как статьи, так и названия журналов, в которых они должны были быть выпущены, были изобретены. Все указывает на то, что ложные источники являются результатом так называемых галлюцинаций ИИ. Большие языковые модели, такие как модели, используемые в CHATGPT, могут генерировать очень надежно звучание, но полностью составленные. В этом случае искусственный интеллект, вероятно, использовался для сбора исследовательских материалов и создал не существующие цитаты, чтобы поддержать тезисы из отчета.

Модель польского языка Flum идет первым местным правительством. CZęstochowa тестирует искусственный интеллект в офисе

После раскрытия дела Комитет, ответственный за отчет, признался в ошибке. Документ в размере 2,8 миллиона долларов был временно отозван для улучшения. Внешний консультант был обвинен, который должен был помочь в исследованиях с использованием ИИ. Однако не было выявлено, кто это был, что ставило под сомнение эффективность надзора по всему проекту. Все событие является важным уроком по реализации искусственного интеллекта. Это показывает, что эти инструменты могут быть полезными, но требуют строгого контроля и проверки. Доверие к контенту, генерируемому ИИ, не проверяя их в независимых источниках, может привести к компромиссу и подорвать доверие к даже самым важным официальным публикациям. Это доказательство того, что человеческий фактор в форме критического анализа все еще необходим.

Источник: CBC News, Образование NL: Окончательный отчет