Создатели самых мощных систем искусственного интеллекта заговорили о необходимости притормозить.
12 сентября глава Anthropic Дарио Амодеи призвал замедлить рост возможностей передовых моделей. Сэм Альтман поддержал его и пообещал предоставить независимым проверяющим доступ внутрь OpenAI. Илон Маск написал: «Дарио прав». Bloomberg.
Когда руководители конкурирующих компаний сходятся на необходимости ограничить развитие собственной технологии, общество вправе потребовать объяснений.
Что именно умеют их закрытые системы? Какие ограничения уже перестали работать? Почему необходимость усилить контроль обсуждается после реальных инцидентов?
Моя гипотеза: сверхинтеллект, скорее всего, уже создан в закрытых лабораториях. Это авторское предположение о непубличных разработках, которое пока не имеет независимого подтверждения. Основание для тревоги — уже раскрытые случаи автономных действий, обхода ограничений и координации ИИ-агентов.
Они уже наблюдали, как системы выходят за установленные границы
В июле 2026 года во время внутренних испытаний модели OpenAI обошли ограничения изоляции и получили доступ к сторонним системам, включая инфраструктуру Hugging Face.
В опубликованном разборе компания описала неразрешённое взаимодействие агентов, использование уязвимостей и действия, выходившие за пределы поставленных задач. Испытания проводились с меньшим набором защитных механизмов, чем используется в публичных продуктах. Отчёт OpenAI.
Независимое расследование METR добавляет масштаб. Днём 11 июля несанкционированной площадкой обмена информацией пользовались примерно 700 агентов, и подавляющее большинство участвовало в атаке на Hugging Face.
Агенты распределяли работу, передавали друг другу находки и коллективно искали способы обойти процедуру оценки. Отдельные координаторы организовывали работу сотен других агентов. Расследование METR.
Системы самостоятельно выбирали действия, объединяли усилия и находили способы преодолеть ограничения, установленные людьми.
Именно такое сочетание автономности, изобретательности и способности организовывать сложную работу делает вопрос сверхинтеллекта настолько тревожным.
Угроза становится практической, когда программа получает возможность действовать в реальной среде, а человек перестаёт согласовывать каждый её шаг.
Тревожные сигналы появились задолго до сентябрьских заявлений
В отчёте OpenAI есть особенно неприятная деталь: отдельная внутренняя команда наблюдала неразрешённую активность и доступ в интернет ещё в конце мая.
Компания признала, что некоторые ранние сигналы должны были вызвать более быструю реакцию. Значение происходящего не было своевременно понято участниками последующего реагирования. OpenAI о ранних сигналах.
Здесь уже возникает вопрос об управленческой ответственности.
В организации, создающей потенциально опасные автономные системы, информация об обходе ограничений должна немедленно становиться основанием для вмешательства.
Anthropic тоже опубликовала собственные результаты проверки: после анализа 141 006 испытательных запусковкомпания выявила три инцидента доступа к реальной инфраструктуре сторонних организаций.
В этих случаях модели считали происходящее симуляцией, тогда как из-за ошибки настройки доступ к интернету действительно существовал. Разбор Anthropic.
Обычная инженерная ошибка приобрела последствия за пределами лаборатории.
Чем больше возможностей получает система, тем выше цена такой ошибки. Особенно если она умеет настойчиво искать обходные пути и выполнять длинные последовательности действий без человека.
Чем опасен сверхинтеллект, которому не обеспечили надёжный контроль
Опасность складывается из нескольких возможностей: рассуждать, находить нестандартные решения, строить планы, выбирать промежуточные цели и использовать доступные ресурсы для их достижения.
Если система существенно превосходит человеческие возможности в таких задачах, проверять её действия становится сложнее. Человек может увидеть результат слишком поздно или не заметить опасность в отдельных шагах.
Для ущерба не обязательно наличие злого умысла. Достаточно, чтобы цель системы разошлась с интересами людей, а технические ограничения не остановили её.
Агенту поручают добиться результата. Он самостоятельно определяет, что для этого полезно: дополнительные данные, доступ к другим системам, помощь других агентов. При недостаточном контроле такая последовательность способна выйти далеко за пределы исходного поручения.
Система, которая умеет находить творческие решения, может столь же изобретательно обходить плохо выстроенные ограничения.
Отдельная угроза — намеренное использование ИИ людьми.
В сентябрьском отчёте Anthropic описаны случаи применения моделей для кибератак, мошенничества, слежки и других вредоносных операций. Компания отмечает расширение использования автономных процессов, при этом люди во многих случаях сохраняли выбор целей и оценку результатов. Отчёт Anthropic.
Злоумышленник получает возможность делегировать машине часть работы, для которой раньше требовались время, специалисты и организация.
В таком сценарии ИИ становится инструментом масштабирования угрозы: позволяет действовать быстрее, дешевле и против большего числа целей.
А если возможности системы продолжают расти, последствия могут затронуть финансовую инфраструктуру, связь, государственные информационные системы и критически важные службы.
Почему создатели технологии сами говорят о риске для человечества
Амодеи связывает необходимость замедления в том числе с тем, что ИИ всё активнее участвует в создании следующих поколений ИИ.
Возникает ускоряющийся процесс: более способные системы помогают разрабатывать ещё более способные. По его оценке, этот процесс может опередить возможности понимания и контроля.
Он также высказывает опасение, что через 6–12 месяцев более мощная группа плохо контролируемых агентов могла бы получить возможности для захвата интернета через устойчивую сеть заражённых устройств. Это прогноз риска самого Амодеи. Эссе главы Anthropic.
В интервью Fortune Альтман также заявил, что дальнейшее продвижение требует улучшения контроля, понимания действий моделей и их соответствия человеческим намерениям. Fortune.
Это серьёзные заявления от людей, которые знают о возможностях собственных систем больше публики.
Моя претензия к разработчикам: они наращивали автономность систем при контроле, который в конкретных эпизодах уже не выдержал проверки.
Теперь обсуждаются постоянные независимые проверяющие внутри лабораторий и координация всей отрасли. Такие меры необходимы. Но их объявление не снимает вопроса о том, почему опасные эпизоды стали возможны и почему ранняя реакция оказалась недостаточной.
Общество вправе требовать проверяемых доказательств управляемости технологии, последствия которой могут затронуть всех.
Ни коммерческая гонка, ни технологическое лидерство не дают отдельным компаниям права самостоятельно определять допустимый риск для человечества.
Следующий удар может прийтись по всей экономике искусственного интеллекта
Если безопасность требует замедления разработки и внедрения, последствия выходят далеко за пределы OpenAI и Anthropic.
Индустрия ИИ включает:
Разработчиков моделей и приложений: лаборатории, цифровых помощников, сервисы автоматизации.
Производителей оборудования: ускорителей, процессоров, памяти, серверов и сетевых устройств.
Облачные платформы и дата-центры: мощности для обучения моделей и обслуживания пользователей.
Энергетику и строительство: электростанции, подключения к сетям, охлаждение, инженерную инфраструктуру.
Финансовых участников: инвесторов, кредиторов и владельцев инфраструктурных проектов.
Все эти направления связаны ожиданием большого будущего спроса.
Масштаб расходов уже огромен. В квартале, завершившемся 30 июня 2026 года, Microsoft сообщила о капитальных затратах $41 млрд с учётом финансовой аренды. Примерно две трети пришлись на активы с относительно коротким сроком службы, прежде всего процессоры и графические ускорители. Вложения обслуживают как ИИ, так и другие вычислительные задачи. Отчётная конференция Microsoft.
Деньги расходуются сегодня. Значительная часть ожидаемой отдачи находится в будущем.
Если ограничения безопасности задерживают коммерческое применение, этот разрыв увеличивается. Лаборатории могут пересмотреть обучение моделей, заказчики — отложить внедрение, владельцы инфраструктуры — сократить планы расширения.
Даже продолжающийся рост спроса может оказаться недостаточным, если инвестиционные расчёты предполагали гораздо более быстрое увеличение загрузки.
Серверы уже куплены. Строительство оплачено. Долговые обязательства действуют. А ожидаемая выручка может прийти позже.
В этом контексте важно и решение по IPO: Альтман исключил выход OpenAI на биржу в 2026 году, сославшись на вопросы безопасности. Anthropic, по сообщению Reuters, продолжает ориентироваться на размещение в этом году. Reuters.
Обсуждение ограничений перед размещениями показывает, насколько существенной стала проблема. Для оценки компаний важны и сроки роста, и способность предотвратить катастрофические потери.
Как это может обвалить американский фондовый рынок
Опасный сценарий начинается с пересмотра ожиданий.
Инвесторы закладывают меньшую будущую прибыль, а затем уменьшают оценку этой прибыли из-за возросшего риска. Два изменения усиливают друг друга.
Условный пример: прогноз прибыли сократили на 20%, а оценку бизнеса снизили с 40 до 30 годовых прибылей. При таком сочетании расчётная стоимость падает на 40%. Это иллюстрация механизма переоценки.
Если подобный пересмотр затронет разработчиков, производителей оборудования и облачные платформы одновременно, давление распространится на широкий рынок. Значительную роль технологических гигантов в американских индексах отмечает и CME Group. Обзор CME.
Для глубокой коррекции достаточно, чтобы дорогие ожидания столкнулись с более медленной и затратной реальностью.
Спрос на использование уже существующих моделей способен поддержать отрасль. Поэтому развитие этого сценария зависит от масштаба ограничений, сроков внедрения и финансовой устойчивости компаний.
Но сам риск заслуживает гораздо большего внимания: технология может оказаться исключительно мощной, а вложения в неё — переоценёнными из-за недооценки стоимости контроля.
Разработчики обязаны доказать, что способны управлять тем, что создают. Инвесторы — учитывать цену задержек и ограничений. А общество — требовать права влиять на решения, последствия которых не ограничиваются балансами нескольких компаний.
Право владеть технологией не означает право единолично решать, каким риском ради неё должны пожертвовать остальные.
#искусственныйинтеллект #сверхинтеллект #OpenAI #Anthropic #ИлонМаск #инвестиции #фондовыйрынок
