20 июля Hugging Face — крупнейшая в мире площадка для разработчиков искусственного интеллекта — сообщила, что стала жертвой кибератаки, которую от начала до конца провела автономная нейросеть. На платформу загрузили вредоносный набор данных, через него ИИ-агенты добрались до внутренних систем, облачных хранилищ и нескольких учётных записей. Человека за клавиатурой в этот момент не было. Обнаружила вторжение другая нейросеть — внутренняя система безопасности компании.
Технически это любопытно. Экономически — гораздо интереснее.
Что изменилось на самом деле
Сложная многоэтапная атака всегда упиралась в дефицитный ресурс: время квалифицированного человека. Именно оно ограничивало количество атак и определяло, кого атаковать рентабельно. Крупный банк — да. Компания с оборотом в несколько миллионов в месяц — чаще всего нет, не окупится.
Автоматизация это ограничение снимает. Машинная скорость, работа без перерывов, стоимость повторения близка к нулю. Порог, ниже которого атаковать невыгодно, опускается — и в зону рентабельности попадают те, кто раньше в неё не попадал.
Это не прогноз. Это арифметика, которая считается с обеих сторон одинаково.
Где это всплывёт в цифрах компаний
— расходы на информационную безопасность перестают быть статьёй, которую можно отложить на следующий год: они переезжают в постоянные; — дорожает киберстрахование — страховщик закладывает в тариф частоту инцидентов, а не только их тяжесть; — у компаний, которые уже раздали ИИ-агентам доступ к внутренним системам, появляется операционный риск, которого нет ни в одном отчёте.
Последний пункт самый недооценённый. Мы внедряем ИИ-ассистентов и видим, как это устроено изнутри: боту почти всегда выдают доступы по принципу «чтобы точно всё работало», то есть максимально широкие. Обманутый агент ничего не взламывает — он просто пользуется тем, что ему уже дали.
«Сама» или всё-таки человек
Под новостью сразу начался спор: нейросеть не может сама, её кто-то запустил. Возражение справедливое — задачу ставил человек, ловушку готовил тоже он.
Но с точки зрения риска разница небольшая. Значение имеет не авторство, а цена и скорость: один человек теперь запускает столько попыток, сколько раньше делала команда.
Три вопроса, которые стоит задавать компаниям
Есть ли у ИИ-агентов отдельные учётные записи с ограниченными правами — или они ходят под общим административным доступом.
Требуется ли подтверждение человека для необратимых операций: платежей, удаления данных, отправки документов наружу.
Ведётся ли журнал действий агента. Без журнала компания не сможет ни разобрать инцидент, ни доказать, что вина не её.
В презентациях этого не пишут, но в ИТ-службе ответы знают. И они говорят о качестве управления рисками больше, чем слайд «мы внедрили искусственный интеллект».
У нас в проектах это сведено к одному правилу: ИИ готовит — человек подписывает. Дёшево, снимает большую часть риска и, кстати, закрывает дыру, которую не закрыл закон: норму об ответственности за ошибку модели из проекта вырезали, в принятом тексте осталась общая отсылка.
А вы как думаете: рынок ответит на это ростом расходов на защиту — или всё сведётся к подорожавшему киберстрахованию, а компании продолжат жить как жили?
Не является индивидуальной инвестиционной рекомендацией.
#ИИ #кибербезопасность #риски #технологии #инвестиции #иивцифрах
