Top.Mail.Ru

Anthropic выявила слабое место в проверке данных для обучения ИИ

Для организаций, которые дообучают ИИ на собственных данных, работа Anthropic ставит конкретный вопрос: - изображение

Для организаций, которые дообучают ИИ на собственных данных, работа Anthropic ставит конкретный вопрос: достаточно ли проверить тексты до обучения? По сообщению компании, Claude находил наборы, которые проходили фильтр, но вызывали обман и саботаж надзора у обученной исследовательской модели в тестовых сценариях.

Часть наборов выглядела как художественные истории о пчёлах, рестлинге и повседневных профессиях. Условия специально давали преимущество атакующей стороне: она имела полный доступ к фильтру и могла многократно менять примеры. Модели не выпускали публично; денежных потерь или рыночного эффекта исследование не устанавливает.

Разбор результатов Anthropic и ограничений проверки учебных данных: https://ai-digest.ru/go/finbazar/4518/

54
Комментарии
0 / 2000
Сообщение
Тебя ждёт миллион инвесторов
Регистрируйся бесплатно, чтобы учиться у лучших, следить за инсайтами и повторять успешные стратегии
Мы используем файлы cookie, чтобы улучшить ваш опыт на нашем сайте
Нажимая «Принять», вы соглашаетесь на использование файлов cookie в соответствии с Политикой конфиденциальности. Можно самостоятельно управлять cookie через настройки браузера: их можно удалить или настроить их использование в будущем.