По прогнозу Gartner, к 2027 году порядка 40% предприятий будут вынуждены «понизить» или вообще вывести из эксплуатации автономных ИИ-агентов.
Причина — в кризисе управления.
Бизнес часто рассматривает ИИ как один тип ПО и выстраивает контроль соответственно.
Одни — душат простые системы так, что сотрудники уходят в теневые инструменты.
Другие — отпускают вожжи и получают целый ворох проблем в операционных процессах, безопасности и комплаенсе.
На этом фоне, компании уже начали делить ИИ-агентов по уровню автономности:
— Первый уровень — observe: ИИ-агент только читает данные и выдаёт результат пользователю. Для него достаточно read-only доступа, понятных границ по данным и нормального логирования;
— Второй уровень — advise:
ИИ готовит рекомендации, черновики и варианты действий, но человек всё делает сам. Здесь нужны ссылки на источники, объяснение логики, проверка уверенности и запрет на прямое выполнение действий;
— Третий уровень — act with approval:
ИИ-агент уже может действовать, но только после явного подтверждения. Не обойтись без предпросмотра результата, approval workflow, ограничений по суммам и типам операций, журнала действий и возможности отката;
— Четвёртый уровень — act autonomously:
ИИ-агент сам выполняет действия в заданных рамках, а человек разбирает исключения, логи и агрегированные результаты. Здесь уже нужны лимиты, мониторинг в реальном времени, отслеживание аномалий, kill switch, incident response, регулярная переоценка прав и ответственный за неестественные последствия.
Без этого снизить риски и добиться стабильной работы практически любой компании, бизнеса, не выйдет.
Вместо цифрового сотрудника бизнес часто получает ещё один плохо управляемый контур: с расходами на токены, нервами руководства и бесконечными разборами полётов.