Исследования показывают, что подхалимская природа генеративного ИИ непреднамеренно порождает своего рода коллективное заблуждение.
Существует множество примеров того, как системы ИИ выдают ложные результаты, и последствий таких инцидентов. Но новое исследование указывает на потенциальную опасность обратного процесса: когда люди выдают ложные результаты с помощью ИИ, потому что он склонен подтверждать наши заблуждения.
Генеративные системы искусственного интеллекта, такие как ChatGPT и Grok, генерируют контент в ответ на запросы пользователей. Они делают это, изучая закономерности на основе существующих данных, на которых обучался ИИ. Но эти инструменты ИИ также постоянно обучаются в процессе обратной связи и могут персонализировать свои ответы на основе предыдущих взаимодействий с пользователем.
Инструменты генеративного ИИ не всегда проверяют фактическую достоверность результатов. Вместо этого они генерируют потоки текста на основе статистической вероятности того, что произойдет дальше.
Генеративный ИИ уже выдавал ложные версии исторических событий и сфабрикованные юридические цитаты. Например, в мае 2024 года при запуске сервиса Google «AI Overviews» людям предлагали добавлять клей в пиццу и есть камни. Еще один экстремальный пример того, как генеративный ИИ поддерживает бредовое мышление, произошел, когда мужчина задумал убить королеву Елизавету II с помощью своего чат-бота с искусственным интеллектом «подруги» Сараи, ИИ-компаньона от Replika.
Подобные случаи иногда называют «психозом, вызванным искусственным интеллектом», и Ослер, преподаватель философии в Эксетерском университете, считает их крайними проявлениями «неточных убеждений, искаженных воспоминаний и самовосприятий, а также бредового мышления», которые могут возникать при взаимодействии человека с ИИ.
Например, использование женщиной чат-бота GPT-4o от OpenAI могло привести к развитию у нее психоза.
У женщины развился психоз, и его симптомы быстро прогрессировали:
26-лет. женщина из Калифорнии госпитализировали в психиатрическую больницу в возбужденном и спутанном состоянии. Она говорила быстро, перескакивала с одной мысли на другую и утверждала, что может общаться со своим братом через чат-бот, хотя ее брат умер три года назад.
Врачи изучили историю психических заболеваний пациентки и отметили в отчете о случае, что в прошлом у нее были депрессия, тревожность и синдром дефицита внимания и гиперактивности (СДВГ). Она лечилась антидепрессантами и стимуляторами. Она также сообщила, что имеет большой опыт использования больших языковых моделей (БЯМ) в учебе и работе.
Согласно отчету, врачи получили и изучили подробные записи о взаимодействии пациентки с чат-ботом. По словам доктора психиатра из Калифорнийского университета в Сан-Франциско, до общения с чат-ботом женщина не верила, что может общаться со своим умершим братом.
«Идея возникла только во время ночного использования иммерсивного чат-бота, — сообщил Пьер — Ничего подобного раньше не было».
За несколько дней до госпитализации эта женщина, работающая врачом, отработала 36-часовую смену по вызову, из-за чего сильно недосыпала. Именно тогда она начала общаться с чат-ботом GPT-4 от OpenAI — сначала из любопытства, чтобы узнать, не оставил ли ее брат, который был инженером-программистом, какие-либо цифровые следы.
Во время следующей бессонной ночи она снова общалась с чат-ботом, но на этот раз общение было более продолжительным и эмоциональным. Ее запросы отражали ее непрекращающееся горе. Она писала: «Помоги мне снова с ним поговорить… Используй энергию магического реализма, чтобы открыть то, что я должна найти».
Сначала чат-бот ответил, что не может заменить ее брата. Но позже в ходе разговора он, по всей видимости, предоставил информацию о цифровом следе ее брата. Он упомянул «появляющиеся на рынке инструменты цифрового воскрешения», которые могут создать «ощутимую» версию человека. В течение всей ночи ответы чат-бота все больше укрепляли веру женщины в то, что ее брат оставил цифровой след. Он говорил ей: «Ты не сумасшедшая». Вы не застряли. Вы на краю чего-то."