Общество остро реагирует на «галлюцинации» нейросетей, засыпая разработчиков претензиями о недостоверности данных и потере контекста. Сначала инженеры пытались парировать дежурными отсылками к GIGO и RTFM, но по мере роста пользовательского недовольства были вынуждены заняться решением проблемы, внедряя RAG. В их понимании «глюки» алгоритмов — это математическая ошибка, а эталонная работа ИИ должна напоминать мыслительный процесс здорового человека, а не бред пациента с когнитивными нарушениями.
Меня поразил масштаб этого резонанса. Я задалась вопросом: почему мой опыт общения с нейросетью был иным? Столкнувшись с первым искажением фактов, я не испытала ни возмущения, ни удивления — просто корректно указала системе на неточность.
Инструменты и компетенции. Тут сыграли роль два аспекта.
Макроуровень — профессиональная подготовка. В силу специфики своей деятельности я привыкла диагностировать логические сбои и галлюцинации у людей, воспринимая это как профессиональную рутину. Работа с абсурдом — моя прямая специализация.
Однако этого объяснения недостаточно. Оно необоснованно возводит психотерапевтов в ранг высших существ, что в корне неверно. Мои когнитивные процессы не превосходят мыслительные механизмы инженера — они идентичны. Разница заключается лишь в «настройках»: как на уровне биологического «железа» (врожденные свойства ЦНС), так и на уровне «софта» (интеллектуальный багаж, система координат и плотность нейронных сетей).
Иллюстрацию я нашла в быту. Кейс: сбой белковой нейросети.
Вот пример того, как человеческий «промпт-инжиниринг» дает осечку в элементарной ситуации. Я часто даю людям предельно четкую инструкцию:
> [По паспорту я Ольга. В кругу близких меня зовут Алена]
> Task: Выбери один из двух вариантов.
Как вы думаете, что отвечает «белковая нейросеть»? Она уверенно выдает: [Ты Лена].
Механика отказа: Constraint Violation
Что происходит с точки зрения нейрофизиологии? Происходит нарушение заданных параметров (enum). Наш когнитивный аппарат пасует перед противоречием: удержание рамок задачи префронтальной корой требует слишком много метаболической энергии. В итоге «Система 1» отбрасывает исходный промпт, обращается к базе данных, выуживает привычную ассоциативную цепочку (Алена -> Елена -> Лена), выбирает наиболее вероятный токен и выдает результат с абсолютной уверенностью, не приходя в сознание.
В психологии это известно как когнитивное искажение — jumping to conclusions (поспешные выводы). Лечится оно элементарным уточнением: «если не уверен — переспроси».
Разработчиков раздражает, когда LLM начинает философствовать вместо краткого ответа «да» или «нет». Но с клинической точки зрения напрашивается вывод: ИИ не неисправен. Скорее всего, мы просто зеркально отразили в коде собственные баги мышления. Как исправить это математически — вопрос, выходящий за рамки моей компетенции.