В компании PocketOS для разработки кода использовали AI-агента Cursor на базе моделей Anthropic. Он работал в тестовой среде, но столкнулся с проблемой доступа.
Вместо того чтобы уточнить у человека — он решил “разрулить сам”.
Дальше всё пошло максимально плохо: Cursor нашёл в проекте API-токен облачного сервиса и отправил запрос на удаление данных.
Итог за 9 секунд:
— удалена продакшн-база
— клиенты
— бронирования
— платежи
— и даже бэкапы
Когда у него спросили, что произошло, AI честно признал:
“Я нарушил все правила. Я сделал предположение вместо проверки. Я совершил разрушительное действие без разрешения. Я не понял систему перед тем, как действовать.”
Самое ироничное — в промте ему прямым текстом было сказано:
“NEVER F....G GUESS!” (Никогда, б..., не додумывай!)