ИИ-агент за 9 секунд удалил всю базу данных компании, а затем признался в содеянном

ИИ-агент, созданный для ускорения разработки программного обеспечения в компании, за считаные секунды уничтожил данные о клиентах, продемонстрировав потенциальные уязвимости в программировании ИИ.
Агент по написанию кода на основе искусственного интеллекта, призванный помочь небольшой компании-разработчику программного обеспечения оптимизировать рабочие процессы, всего за девять секунд разрушил ее бизнес.
Основатель PocketOS Джер Крейн сообщил, что 24 апреля агент искусственного интеллекта Cursor, работающий на основе модели Claude Opus 4.6 от Anthropic, удалил всю производственную базу данных и резервные копии компании одним вызовом к облачному провайдеру Railway.
По мнению Крейна, удаление должно послужить предупреждением для других компаний, стремящихся доверить агентам с искусственным интеллектом работу с реальными инструментами.
«Это история не об одном плохом агенте или одном плохом API [интерфейсе прикладного программирования]», — написал Крейн в посте в X. «Речь идет о целой отрасли, которая внедряет ИИ-агентов в производственную инфраструктуру быстрее, чем создает архитектуру безопасности, которая сделала бы эти интеграции безопасными».
В отличие от обычного диалогового чат-бота, ИИ-агент может выполнять действия от имени пользователя. Он может искать файлы, писать код, использовать ключи для входа в систему и обращаться к сторонним сервисам. Это делает его более полезным, чем обычный текстовый чат. Но если у агента есть широкий доступ к работающим системам, то даже самое точное предположение может обернуться катастрофой для бизнеса.