#безопасностьии — посты и обсуждения

Что случилось

Создатель нейросети Claude — компания Anthropic — призвала замедлить развитие искусственного интеллекта. По мнению основателей, современные модели близки к тому, чтобы развиваться без участия человека, и грозят выйти из-под контроля. Это может произойти уже через год-два.

Сооснователь Anthropic Джек Кларк заявил: «Сейчас у индустрии есть педаль газа, но нет педали тормоза».

Почему они так говорят

В Anthropic отмечают, что скрыть обучение новой модели намного проще, чем строительство ракетной шахты. Любой участник гонки, не пожелавший соблюдать паузу, получит шанс вырваться вперёд. При этом сами разработчики признают, что около 80% кода внутри компании уже создаётся с помощью ИИ. В перспективе эта доля может приблизиться к 100%.

Что думают в России

Ярослав Алейник (гендиректор IT-компании «Омега»):

«Я лично пользуюсь Claude и вижу эволюцию от модели к модели. В некоторых случаях просто говорю "разрешить доступ" и уже перестал какие-то вещи анализировать, потому что их уже не понимаю. Думаю, что действительно есть смысл хотя бы ненадолго сделать паузу для стабилизации и торможения».

Он также отметил, что в Китае есть программы воспитания детей с эмпатией к нейросетям. Но уверен: любой кодекс может быть взломан.

Сергей Зубарев (основатель и гендиректор Sistemma):

Считает, что разработчики преувеличивают уровень технологии.

Реальные проблемы индустрии — приземлённее:

Галлюцинации. Ни одна ведущая генеративная модель их не решила.

Замыкание системы. Если 100% кода будет писать ИИ, без внешнего наблюдателя-человека система постепенно превратится в «стопроцентный бред».

Экономика. Каждый следующий шаг требует всё больше вычислений, энергии и чипов. Если даже в несколько раз увеличить «умность» модели, всей энергии в мире не хватит.

По мнению Зубарева, призывы к торможению появились в удобный момент. Игроки решают две задачи: предупреждают о рисках и одновременно формируют общественное мнение на случай, если темпы прогресса окажутся ниже ожиданий. Особенно на фоне подготовки Anthropic к IPO.

Контекст

28 мая сообщалось, что Anthropic обогнала OpenAI и стала самым дорогим стартапом на рынке. Частные инвесторы оценивают её стоимость почти в $1 трлн.

Мнение

Призывы замедлить развитие ИИ — старая песня. Но когда об этом говорит лидер рынок, это сложно игнорировать. Проблема в дилемме безопасности, которую не смогли решить ни с ядерным оружием, ни с биотехнологиями: кто первый нажмёт на тормоз, тот и проиграет гонку. Человечество, скорее всего, продолжит мчаться вперёд до первого серьёзного кризиса. А потом будет поздно.

#Anthropic #Claude #искусственныйинтеллект #безопасностьИИ #галлюцинации #гонкаИИ #IPO

Continuous Red Teaming: как безопасность ИИ-агентов становится непрерывным процессом Искусственный интеллект, особенно в форме автономных агентов, все чаще получает доступ к критически важным системам: от финансовых транзакций до управления цепочками поставок. Однако стандартные подходы к кибербезопасности здесь не работают: традиционные сканеры уязвимостей не способны предсказать, как языковая модель отреагирует на хитроумно составленный промпт. В марте 2026 года CB Insights зафиксировал новый тренд, который коренным образом меняет ландшафт безопасности: непрерывное red teaming становится обязательным этапом CI/CD-пайплайнов для агентных систем. Смысл подхода прост: каждое обновление модели, каждое изменение системного промпта или добавление нового инструмента агента автоматически запускает серию атакующих тестов. Это не разовая проверка перед релизом, а постоянный «спарринг», имитирующий действия злоумышленников. Такой формат позволяет выявлять уязвимости еще на стадии разработки и предотвращать инциденты в продакшене. Первыми на этот вызов отреагировали технологические гиганты. Microsoft интегрировал AI Red Teaming Agent в Azure Foundry — платформу для разработки агентных приложений. Теперь разработчики могут автоматически тестировать свои агенты на устойчивость к инъекциям промптов, попыткам обхода ограничений, утечке данных и другим атакам, характерным именно для LLM. В то же время стартап Virtue AI запустил Agent ForgingGround — решение, специализирующееся на непрерывном red teaming для мультиагентных архитектур, где взаимодействие между несколькими ИИ-агентами создает дополнительные векторы атак. Почему это критично именно для финансового сектора? По данным EY, 64% крупных компаний с выручкой более $1 млрд уже понесли убытки от сбоев AI в размере более $1 млн. Для финансовых организаций, где агенты получают доступ к платежным системам, клиентским данным и торговым алгоритмам, цена взлома может быть на порядок выше. Непрерывное red teaming берет на себя этот риск, превращая безопасность из статичного набора правил в динамический процесс, синхронизированный с жизненным циклом разработки. С точки зрения рынка, формирование стандартов непрерывного red teaming создает новый класс ИТ-решений. Крупные игроки уже начали встраивать эти функции в свои облачные платформы, а нишевые вендоры становятся объектами повышенного интереса со стороны инвесторов. Аналитики CB Insights прогнозируют, что в ближайшие 18 месяцев мы увидим волну M&A в этой области: безопасность агентов становится таким же обязательным инфраструктурным слоем, как observability. Для российских финансовых институтов и финтех-компаний, внедряющих агентные технологии, непрерывное red teaming — не просто технологический тренд, а вопрос регуляторной устойчивости. Учитывая, что агенты с доступом к финансам становятся суперцелями для атак, наличие автоматизированных систем их постоянной проверки скоро станет обязательным требованием как со стороны регуляторов, так и со стороны партнеров. Главный вывод: безопасность ИИ-агентов перестала быть «галочкой» в чек-листе. Непрерывное red teaming превращается в стандарт индустрии, обеспечивающий доверие к автономным системам. Компании, которые начнут внедрять такие практики уже сейчас, получат конкурентное преимущество за счет снижения операционных рисков и готовности к ужесточению регулирования. #ContinuousRedTeaming #безопасностьИИ #AIагенты #Microsoft #VirtueAI #CBInsights #финтех #кибербезопасность #CI/CD #рискменеджмент