Anthropic сокращает задержку в API Claude без снижения расхода токенов

Anthropic выпустила Message Threads в открытой бета-версии. Функция меняет работу приложений, обращающихся к Claude через API: вместо повторной отправки всей переписки они передают только изменения после последнего сообщения.

По данным компании, для запросов от 500 тысяч до миллиона токенов — единиц объёма обрабатываемых данных — время до начала ответа сокращается примерно на 35%. Среди основных получателей пользы Anthropic называет помощников для программирования, агентов для работы с компьютером и процессы с множеством документов или изображений.

Снижение задержки не означает снижения расхода токенов: Claude продолжает читать полную историю, и расход не меняется. Вывод об экономии на основании этих 35% делать нельзя. Функция работает на платформе Claude и через AWS, Microsoft Foundry и Google Cloud.

Разбираем заявленное ускорение Message Threads и ограничения новой функции: https://ai-digest.ru/go/finbazar/4789/