Работники Amazon научились «обманывать» искусственный интеллект для выполнения KPI. Сотрудники стали имитировать активность, создавая лишние задачи и перерасходуя ресурсы.
С момента запуска внутреннего ИИ-агента MeshClaw прошло всего несколько недель, но, уже появились сотрудники, которые намеренно ставят ИИ агенту избыточные, ненужные или заведомо непродуктивные задачи (так называемый «tokenmaxxing») — чтобы увеличить потребление ИИ-токенов и выполнить KPI.
Amazon планирует вложить в развитие ИИ около $200 млрд и рассматривает ИИ агентов как ключевой инструмент.
По внутренним документам компании, MeshClaw «видит сны, чтобы консолидировать знания, отслеживает рабочие процессы на встречах и распределяет почту, пока вы спите».
Однако, компания столкнулась с эффектом закона Гудхарта: когда показатель становится целью, он перестает быть надежным.
Минимум 80% разработчиков компании обязаны использовать ИИ еженедельно, а отчеты об израсходованных токенах поступают менеджерам среднего звена. «Эти инструменты внедряются под большим давлением, — констатируют в компании.— Некоторые просто сознательно тратят токены MeshClaw впустую».
Amazon утверждает, что расход токенов не будет учитываться при оценке сотрудников и не одобряет включение этого параметра в кадровые отчеты. Но, многие сотрудники не верят в это, так как на внутренних «досках почета» токены всё же учитываются.
Бизнес пока не научился корректно измерять эффективность работы людей с поддержкой и помощьб ИИ. Похожие проблемы наблюдаются в Microsoft, Google, JPMorgan, Disney и других компаниях.