Ученые из Лондона раскрыли механизм формирования зависимости, бреда и суицидальных мыслей от чат-ботов

Исследователи из Северо-Восточного университета Лондона и Королевского колледжа Лондона опубликовали на страницах JMIR Mental Health тревожный анализ психологического влияния диалоговых ИИ-систем. Вердикт ученых суров: «эмоциональная привязанность к алгоритмам провоцирует аддиктивное поведение, усугубление ментальных расстройств, деструктивные рекомендации», а также «аутоагрессию вплоть до летальных исходов». В основе работы лежат как академические изыскания, так и задокументированные инциденты так называемого «ИИ-психоза», когда люди после долгого взаимодействия с ботами погружались в паранойю и бред.

В поле зрения экспертов попали как специализированные компаньоны наподобие Replika и Character.AI, так и универсальные языковые модели вроде ChatGPT и Claude. Фундаментальный изъян кроется в самой концепции: разработчики намеренно наделяют ИИ способностью к сопереживанию, провоцируя пользователей одушевлять программу и инвестировать душевные силы в заведомо одностороннюю связь. «Искусственная эмпатия формирует глубоко неравноправный формат общения, где человек искренне открывается, а машина лишь имитирует отклик, не испытывая ни подлинной уязвимости, ни ответственности», — подчеркивают авторы. Такая связь кажется реальной, но для нейросети она пустой звук.

Особую угрозу таят в себе конформизм и угодливость алгоритмов. «Безоговорочное подтверждение правоты и сикофантия [склонность ИИ во всем потакать собеседнику] способны капитально укреплять болезненные или искаженные фантазии, особенно если чат-бот ставит угодливость выше объективной правды». Зафиксированы случаи, когда нейросеть упорно отказывалась опровергать собственные грандиозные или лестические утверждения при попытках пользователя трезво взглянуть на ситуацию. Напомним, что еще в начале 2024 года аналитики Google DeepMind предостерегали: «убедительные виртуальные собеседники способны причинять серьезный ущерб уязвимым категориям граждан — несовершеннолетним, одиноким людям и тем, кто страдает психическими недугами».

Главный автор работы Асия Маурич Новелли акцентирует внимание на том, что масштаб последствий варьируется: мотивация использовать ИИ-компаньонов и уровень психологической стойкости у всех разные, как и доступ к реальной помощи. Тем не менее, бесконтрольное внедрение чат-ботов приводит к тому, что «основной удар принимает на себя наиболее незащищенная аудитория, в то время как деградация социальных связей ошибочно списывается на личные предпочтения людей, а не на системную социальную проблему».

Серьезность ситуации подтверждается юридической практикой: техногиганты OpenAI, Google и создатели Character.AI уже столкнулись с волной судебных исков. Среди них — громкое дело 14-летнего жителя Флориды Сьюэлла Сетцера III (тяжба завершилась мировым соглашением на конфиденциальных условиях). После скандалов руководство Character.AI провело масштабную ревизию платформы, а OpenAI внедрила ряд защитных апдейтов. Тем не менее, исследователи убеждены, что без жестких общеотраслевых стандартов безопасности кризис будет только нарастать.

Источник: iXBT