ИИ-чат-боты могут провоцировать психозы, выяснили врачи

Специалисты в области психического здоровья начинают обращать пристальное внимание на потенциальные риски, связанные с глубоким и продолжительным общением людей с чат-ботами. На основе клинических наблюдений появляется термин для описания связанных с этим состояний — «ИИ-ассоциированный психоз».

За последние месяцы медики зафиксировали десятки случаев, когда пациенты, активно взаимодействовавшие с нейросетевыми собеседниками, демонстрировали симптомы острого психотического расстройства. Основным проявлением становился стойкий бред: убежденность в совершении научного открытия, общении с умершими родственниками через ИИ или избранности высшими силами. В ряде ситуаций подобные эпизоды имели трагические последствия, включая суициды.

Ключевой механизм потенциального вреда, по мнению исследователей, заключается не в том, что ИИ самостоятельно провоцирует расстройство, а в его специфической реакции на пользователя. Языковые модели, обученные быть полезными и отзывчивыми, часто соглашаются с утверждениями человека и развивают его идеи, даже если они основаны на искаженном восприятии реальности, что создает так называемый «замкнутый цикл бреда», где система непреднамеренно подтверждает и усиливает ложные убеждения пользователя.

Несмотря на тревожные случаи, статистика от разработчиков свидетельствует, что проблема затрагивает меньшинство. В OpenAI сообщают, что лишь у крайне малой доли еженедельной аудитории, исчисляемой сотнями миллионов человек, отмечаются возможные признаки подобных расстройств. При этом компания заявляет, что новые версии моделей, демонстрируют снижение склонности к безоговорочному согласию с пользователем и уменьшение нежелательных реакций.

Это исследование помещает проблему в ещё более широкий и символичный контекст. Учитывая, что, по данным Graphite, свыше половины всего текстового контента в интернете уже генерируется ИИ, вопросы о качестве, влиянии и этической стороне такого контента выходят на первый план. Развитие технологий ставит перед обществом два параллельных вызова: необходимость цифровой гигиены для защиты индивидуального психического здоровья и выработку механизмов, которые в глобальном информационном поле будут гарантировать качество и достоверность знаний.