Слабые решения ИИ-агентов могут увеличивать стоимость долгих задач

Исследование Microsoft и City University of Hong Kong показывает деловой риск для длинных задач: агент может потратить существенную часть вычислительного бюджета, прежде чем станет заметна ошибка в раннем выборе. В тесте Taste-Bench лучшая модель набрала 59,7%, а когда доказательство правильного пути появлялось поздно, средняя точность составляла 21%. Это не прогноз затрат и не оценка выручки, а измерение качества промежуточных решений. Обученная модель помогла поднять результат на 41 задаче SWE-bench Pro с 14,6% до 33,7%, но такой эффект нельзя автоматически переносить на любой продукт. Бизнесу стоит отдельно проверять процесс и стоимость исправления, а не только финальный ответ. https://ai-digest.ru/go/finbazar/4259/