Компания Anthropic отключила ИИ-модель Fable 5 и Mythos 5 у всех пользователей через три дня после релиза — власти США нашли в ней «угрозу национальной безопасности». Вашингтон потребовал от компании, чтобы ни один иностранный пользователь не смог получить доступ к этой модели.
Когда-то все смеялись с сюжета «Терминатора», но внезапно выяснилось, что если искусственный интеллект обучить настолько, насколько это возможно, то он сможет найти все уязвимости во всех компьютерных системах и сетях. Суть проблемы Пентагона с Fable 5 и Mythos 5 в том, что Модели Fable 5 и Mythos 5 — это не обычные чат-боты. Anthropic называет их первыми моделями «класса Mythos», и их ключевая особенность — способность к автономным действиям. То есть действиям БЕЗ ЧЕЛОВЕКА. Модели оказались способны находить и эксплуатировать уязвимости в программном коде. По тестам, Mythos 5 набрал 78% в бенчмарке ExploitBench (тест на поиск уязвимостей), в то время как предыдущая модель Opus 4.8 — только 40%. Это в итоге приведет к тому, что руководство Claude может получить доступ к любым сетям Пентагона и вообще любой страны, где могут быть найдены уязвимости.
Несмотря на то, что Anthropic установила в Fable 5 строгие фильтры безопасности (блокирующие темы кибербезопасности, биологии и химии), правительство США заявило, что нашло метод «джейлбрейка» (jailbreak) — то есть способ обойти эти ограничения. Власти продемонстрировали, что модель можно заставить анализировать конкретную кодовую базу на предмет уязвимостей, несмотря на защитные механизмы. Это, видимо, и послужило причиной распоряжения отключить LLM.
ну вот потом не говорите что все произошло неожиданно.