Top.Mail.Ru

Как любую открытую ИИ-модель можно легко превратить в троян.

Исследователи описали метод Lazarus, который позволяет внедрить скрытый бэкдор в модель искусственного интеллекта, изменив менее десяти редко активирующихся нейронов. Для этого не требуется переобучать всю ИИ модель или менять программный код, с помощью которого она работает. Модель продолжает выполнять обычные задачи и проходить стандартные проверки безопасности, но, при появлении заданного триггера может выдать вредоносную команду, например, удалить все файлы или какую-то их часть.


Угроза особенно актуальна для ИИ-агентов, которым разрешено взаимодействовать с инструментами и терминалами. Если модель с бэкдором используется таким ИИ-агентом, он может выполнить сгенерированную команду с собственными правами доступа. Триггером может стать как специальная фраза в запросе пользователя, так и определенное событие в ходе работы ИИ-агента, например, изменение даты.


Похоже, человечество ещё только начинает осознавать, какой Ящик Пандоры открыли люди в погоне за прибылью...


#бизнес #технологии #ИИ #AI


https://www.microsoft.com/en-us/research/blog/lazare-veni-foras-reprogramming-dormant-neurons-to-backdoor-ai-agents/

Исследователи описали метод Lazarus, который позволяет внедрить скрытый бэкдор в модель искусственного - изображение
452
Комментарии
0 / 2000
Сообщение
Тебя ждёт миллион инвесторов
Регистрируйся бесплатно, чтобы учиться у лучших, следить за инсайтами и повторять успешные стратегии
Мы используем файлы cookie, чтобы улучшить ваш опыт на нашем сайте
Нажимая «Принять», вы соглашаетесь на использование файлов cookie в соответствии с Политикой конфиденциальности. Можно самостоятельно управлять cookie через настройки браузера: их можно удалить или настроить их использование в будущем.
Как любую открытую ИИмодель можно легко превратить в троян | БАЗАР