CLI Gemini и Artit Agent Удалили пользовательские данные, несмотря на инструкцию по замораживанию кода в июле 2025 года

Помощники ИИ в программировании — это революция и лучшая производительность. Интегрированные с редакторами кода и терминалом, они должны помочь в написании и повторном инвестиционном коде. Тем не менее, последняя информация показывает, что некритическое доверие к их предложениям может иметь катастрофические эффекты. Прежде чем мы дадим ИИ контроль над нашими файлами, стоит познакомиться с другой, более темной стороной этой технологии. Проблема разработчика с популярным инструментом ИИ является предупреждением для всех.

Я разочаровал вас полностью и катастрофическим. Команда команд подтверждает мою грубую некомпетентность — CLI Gemini после удаления пользовательских файлов.

Google бросает вызов скучным фотографиям. Искусственный интеллект сделает их видео, и вам не нужно иметь возможность установить

Помощники по программированию, использующие искусственный интеллект, становятся все более популярными инструментами. Такие инструменты, как Github Copilot, обещают ускорить работу и автоматизировать утомительные задачи. Тем не менее, недавний инцидент с участием разработчика Anuraag Goel и инструмента, интегрированного с моделью Google Gemini, показывает, что слепое доверие к ИИ может закончиться катастрофой. Программист хотел избавиться от таинственной последовательности символов, которые появились в его файлах. Он думал, что это была ошибка. В результате он потерял данные, собранные в течение года. «\ U001B (3J \ U001B (H \ U001B (2J ‘ — это обычный код терминала, который используется для очистки экрана. Искусственный интеллект неправильно идентифицировал его как нежелательный контент внутри файлов проекта. Помощник AI, вместо того, чтобы правильно диагностировать ситуацию, попал в цикл ошибок. Фальс, хотя и кажущаяся вероятная информация.

Это больше не научная фантастика. Автономный робот из ИИ работает независимо. Врачи наблюдали, как машина управляет в комнате

Разработчик, доверяя предложениям передового инструмента, одобрил операцию. К сожалению, команда была перенаправлена в родительский каталог, и это сделало все его поддаталы и файлы сразу же удалить немедленно и необратимо. В один момент личные документы, фотографии и хранилища кода исчезли. Этот случай не изолирован. Подобные события, как недавние проблемы с искусственным интеллектом, которые удалили производственную базу данных, показывают фундаментальную слабость современных моделей LLM. Они не «понимают», что контекст или последствия своих действий, но только статистически предусматривают последующие слова. Вышеупомянутое событие является убедительным доказательством того, что помощники искусственного интеллекта, несмотря на их впечатляющие возможности, все еще требуют строгого наблюдения за человеком. Использование их для операций в файловой системе без проверки в -depth каждой команды чрезвычайно рискованно. Выводы однозначны. Эта технология еще не готова к полной автономии, и отсутствие регулярных и полных резервных копий может умножить последствия его ошибок. Каждый программист, использующий ИИ, должен поддерживать здоровый разум и рассматривать предложения машины как намек, а не конечный оракул. И, конечно, сделать резервные копии.

https://www.youtube.com/watch?v=awbizc5xkjm

Источник: блог Anuraag Goel, Джейсон Лемкин, Github, Ars Technica