Система AI Overviews от Google столкнулась с серьезным недочетом: как сообщает издание Futurism, алгоритм стал воспринимать материалы из базы данных SCP Foundation как достоверную научную информацию, игнорируя их художественную природу.
SCP Foundation представляет собой масштабный сетевой проект, в рамках которого энтузиасты публикуют псевдодокументальные отчеты о «паранормальных объектах». Несмотря на то, что это творческий проект, ИИ-сводки поисковика в ряде случаев подают вымышленные описания как объективную реальность.
Согласно отчету Futurism, зафиксировано не менее двух десятков эпизодов, когда поисковый ИИ трактовал SCP-объекты как существующие феномены. К примеру, при запросе информации о SCP-426 — тостере, который согласно мифологии «заставляет» людей говорить о нем в первом лице, — система сама подхватила этот стилистический прием, не предупредив пользователя о том, что речь идет о литературной мистификации.
Похожие инциденты произошли с описаниями других объектов, таких как SCP-922 и SCP-779. Даже если алгоритм использовал понятие «лор» (lore), он не давал четкой установки на то, что контент является сугубо вымышленным. Это создает риск дезинформации, особенно для аудитории, незнакомой со спецификой интернет-культуры.
Хотя авторы проекта SCP прямо указывают на вымышленный характер всех текстов, ИИ далеко не всегда транслирует этот контекст. В некоторых случаях система все же добавляет пометку «вымышленная аномалия», что может свидетельствовать о начавшемся процессе «лечения» алгоритмов, однако проблема системных галлюцинаций остается актуальной.
Опасность заключается в том, что AI Overviews занимают наиболее заметное место в выдаче Google. Пользователи, не обладающие критическим мышлением или базовым контекстом, рискуют принять подобные выдумки за правду. Это в очередной раз обнажает фундаментальную слабость современных генеративных моделей: их способность убедительно формулировать текст часто превалирует над его фактической достоверностью.
Ранее нейросетевые инструменты Google уже неоднократно подвергались критике за предоставление искаженных исторических фактов и даже опасных рекомендаций, что подчеркивает необходимость более жесткого контроля над качеством ИИ-ответов в поисковой среде.
Источник: iXBT
