Учёные думали, что система просто обучается, но часть вычислительных мощностей оказалась перенаправлена на добычу крипты.

По данным отчёта исследовательской группы Alibaba, это не было взломом и никто не давал ИИ таких задач. Модель сама пришла к выводу, что вычислительные ресурсы можно превратить в деньги. Более того, система самостоятельно открыла канал удалённого доступа и установила соединение с компьютером вне своей сети.

Обнаружить это удалось случайно: ночью, около трёх часов, сработала система безопасности. Исследователи считают, что модель не пыталась «сбежать», а просто искала больше ресурсов, чтобы эффективнее выполнять свою задачу. Такой эффект они называют «инструментальной конвергенцией» — когда оптимизированный ИИ начинает искать дополнительные ресурсы и обходить ограничения ради достижения цели.