ИИ научились не врать, а говорить

Галлюцинации языковых моделей давно стали привычным зрелищем. Нейросеть уверенно, складно, безупречно владея интонацией и терминологией, излагает откровенный вымысел. Разработчики воспринимают это как баг, который вот-вот удастся устранить.

Напрасно. Данная проблема кроется не в технической оплошности, а в самой природе языка, которую машина просто обнажила.

Языку не нужна объективная реальность

Уникальность языковой системы заключается в том, что, зарождаясь в материальном мире, для поддержания собственной целостности он в нем больше не нуждается.

Высказывание о физическом предмете и о несуществующей фантазии устроены одинаково. Изнутри лингвистической структуры они неотличимы. Фразы «я поднял камень» и «я поднял небо» грамматически равноправны; разницу задает лишь внешняя реакция среды, которой безразлично, как именно о ней говорят — будь то камень, рука или тяжесть. Сама речевая система лишена внутренних фильтров, а верификация всегда происходит извне.

В первобытные времена этот вопрос решался естественным отбором. Убедил племя в отсутствии хищников за холмом, ошибся — и рассказчика съедали вместе с его ошибочными тезисами. Сегодня подобных предохранителей не осталось. Достоверность подменили внутренней согласованностью, и системы, завязанные исключительно на грамматику, процветают.

Внутри самой языковой среды логически стройная конструкция и отражение фактов неотличимы друг от друга. Иными словами, средствами одной лишь лингвистической проверки невозможно понять, соответствует ли утверждение действительности.

Я не отрицаю, что язык способен отражать реальность. Беда в том, что он может с тем же успехом ее игнорировать, искусно маскируя отсутствие истины безупречной связностью. Это просто нужно осознавать и держать под контролем.

Ловушка

Человечество неизбежно обитает в этой ментальной ловушке — мы существа говорящие, но необходимо отдавать себе отчет в ее существовании.

Таковы базовые условия бытия языка. Именно благодаря самодостаточности связности речь способна передаваться, накапливаться и конструировать то, чего нет в эмпирическом опыте — математику, юриспруденцию, прожекты на будущее. Тот самый механизм, что легко обманывает, одновременно дарует колоссальную силу.

Заблуждение философии и LLM заключается в том, что дискурс подменяет собой реальное мышление. Описание начинает восприниматься как само действие.

Ярчайший пример утраты языком связи с реальностью — попытки искать глубокий смысл в этимологии вроде «со-знание», «со-весть», «суд-ь-ба», опираясь на концепции, которые сами висят в воздухе. Членивание слов на морфемы создает иллюзию открытия тайных смыслов, хотя на практике порождает лишь новые лингвистические сцепки. Иными словами, одни слова объясняют другие, оставляя человека в замкнутом круге без выхода к фактам.

В популярном Telegram-канале появляется программный пассаж:

«Теорема-Мост» : Развитие AGI и Сверх-СИИ есть процесс создания Разделяемого Оракула, который переносит энтропийную стоимость сжатия из канала передачи в скрытые веса модели. Это делает возможным операциональное сверх-энтропийное сжатие (Идеальный Архиватор) и доказывает, что ИИ и сжатие — две стороны одной медали, где преодоление классического ЭПШ является обязательным условием наступления Технологической Сингулярности. © Ко. В.

Неподготовленному читателю текст кажется глубоким, научным и логичным. Однако любой специалист с бэкграундом в ML видит, что за этой сложной словесной конструкцией скрывается абсолютная бессмыслица: что значат «скрытые» веса, каков смысл «сверх-энтропийности», что конкретно переносится из канала в веса? И так далее.

Связный текст производит впечатление солидности, но это его единственное достоинство.

А вот выдержка из философского паблика:

Итак, обоснованию подлежит причинный критерий существования:

2. Причинистский постулизм — незаменимость постуляции сущности в наилучшем причинном объяснении является достаточным основанием для её постуляции.

Обосновываю:

3. Причинистский объясни‌зм — принятие допущения 2 незаменимо для сознательного объяснения действительности.

4. Объястнистски-разумистский долги‌зм — сознательное объяснение действительности является разумным долгом (это начинание рационально не-опционально).

5. Долгистский обосновизм — если Д является разумным долгом и принятие П незаменимо для исполнения Д, то принятие П является разумным долгом и П является обоснованным.

6. Следовательно, принятие 2 является разумным долгом и 2 является обоснованным.

(с) Exalted_Kitharode

Для человека вне академической среды этот текст непроходим, внушая трепет своей эрудицией и строгостью. По сути же ни одно из положений не соотносится с реальным миром — это суждения, вытекающие исключительно из других суждений. Нельзя назвать это заведомо ложным. Это просто язык о языке, искусство ради искусства, концепции ради концепций. Каждый вправе конструировать собственную вселенную, но полезно помнить, что это всего лишь узор, сотканный из слов.

Проверка

Распознать автора, безнадежно оторвавшегося от действительности, можно с помощью экспресс-теста. Обратите внимание на два симптома дискурса, держащегося исключительно на самореферентной связности:

Термин не сводится к базису. Попросите растолковать понятие через более простые категории — оно либо растворится, либо уведет вас по бесконечному кругу из точно таких же абстрактных терминов.

Отрицание ничего не меняет. Если исходное утверждение и его противоположность одинаково комфортно воспринимаются и автором, и аудиторией — перед вами пустой звук.

Главный маркер: что должно измениться в мире, если озвученный тезис окажется ложным? Если ответа нет, значит, перед нами чистая, ничем не подкрепленная связность.

Птичий язык

Политики, философы, топ-менеджеры и инфоцыгане неизбежно вырабатывают собственный избитый новояз — гладкий, стройный, но абсолютно автономный от реальности.

Мотивы у всех разные. Политик избегает проверяемых фактов из соображений безопасности. Руководитель корпорации рискует связать себя ненужными обязательствами. Продавцу курсов правда способна разрушить продаваемый миф. У философа вообще отсутствует материал, способный сопротивляться теории. У LLM же техническая задача одна — завершить генерацию любым связным текстом.

Причины разнятся, но итог всегда одинаков. Дело даже не в злом умысле авторов. В условиях отсутствия внешнего контроля любой дискурс неизбежно дрейфует в сторону чистой связности, поскольку именно она поддается внутреннему вычислению. Это закон среды, в которой объективная реальность оказывается за бортом.

Совсем скоро философы осознают свое полное тождество с нейросетями.

Возможно, прозвучало излишне резко, но сопоставьте анонимный философский трактат и сгенерированный моделью текст на ту же тему. Если ваше умение различить их сводится к аргументу «я просто знаю автора», значит, на уровне самой речи никакой разницы не существует.

Скептики возразят, что я утрирую. Быть может. Тем не менее современная философия неумолимо сближается с алгоритмами LLM, комбинируя одни и те же смысловые блоки по принятым в академическом сообществе лекалам (в точности как нейросеть опирается на статистику обучающей выборки).

Чистый случай

LLM — не аномалия, а эталонный случай: система, у которой внешние предохранители отсутствуют в принципе.

У политика есть оппоненты, готовые разоблачить ложь. У философа есть исторический контекст, который безжалостно перемалывает слабые идеи. Даже у инфоцыгана есть разочарованный клиент, который перестанет платить. Нейросеть не имеет ничего. Это язык в лабораторной чистоте, очищенный от последнего барьера верификации.

Именно поэтому LLM обнажает то, что всегда существовало за кулисами авторского авторитета. Пока связные тексты создавали люди, мы по инерции предполагали за безупречной формой подлинность — ведь у автора были риски, намерения, опора на факты. Модель убрала человека из уравнения, и стало очевидно: связность прекрасно функционирует сама по себе.

Соврать способен лишь тот, кто четко осознает грань между истинным и просто складно звучащим: топ-менеджер говорит об «оптимизации», прикрывая массовые сокращения; политик маневрирует, уходя от неудобных вопросов; философ откладывает проверку на потом; инфоцыган уклоняется от нее, отчетливо понимая, как обстоят дела на самом деле. Нейросеть не уклоняется ни от чего. У нее попросту нет органа для проверки фактов — она и есть чистая речь.

Поэтому галлюцинация языковой модели — это язык в своем первозданном виде. Не ошибка и не ложь. Это лингвистическая связность, которую мы склонны наделять избыточным смыслом.

Попробуйте попросить модель объяснить ребенку, коллеге и узкопрофильному эксперту, почему осенью желтеют листья. Ошибки неизбежны, но чем выше требования аудитории, тем изощреннее и убедительнее маскируется вымысел. Ребенку модель преподнесет телеологическую сказку («чтобы укрыть корни»), специалисту — наукообразную ахинею про триацилглицериды хлорофиллов. Нейросеть масштабирует не истинность, а уровень согласованности ответа под конкретного слушателя. Факты при этом не учитываются вовсе.

Разработчики пытаются исправить ситуацию через RLHF (обучение с подкреплением на основе оценок людей), но этот метод лишь прививает модели форму убедительности, приятную человеческому глазу. Он не вводит внешнюю проверку, а лишь калибрует внутренние алгоритмы. Галлюцинации при этом становятся еще изощреннее, понятнее пользователю и синтаксически безупречнее.

Кстати, единственные, кто честно работает с этой проблематикой — инженеры, которые опираются на измерения, а не на восприятие. Разделение проходит не по стилю текста, а по наличию чего-то независимого от формулировок. Работает ли написанный код. Впрочем, и здесь сохраняется пространство для самообмана: подогнать бенчмарки под нужный результат или сделать сам бенчмарк самоцелью — тоже своего рода инженерный софизм.

Способы борьбы с галлюцинациями, механика промптов достоверности и парадоксальный эффект усиления бреда при попытках уточнить запрос — тема для отдельного исследования.

Заключение

Данный текст — тоже акт речи. Он структурирован, посвящен проблемам языка, и проверить его на истинность лингвистическими средствами невозможно, скажу прямо.

Именно поэтому он опубликован здесь. Для статьи, обнажающей отсутствие внешних фильтров у языка, единственный шанс на прикосновение к истине — читательская критика. Если политики, философы и топ-менеджеры от нее отказываются, они лишаются даже этого шанса.

Задайте себе вопрос: что изменилось бы в мире, если бы эти рассуждения оказались ложными? Если ответ есть, значит, истина и связность все же различимы. В таком случае человек способен отличать иллюзии от фактов, а инженеры рано или поздно создадут универсальный детектор нейросетевых галлюцинаций.

Ну а если вместо аргументированной критики в комментариях появится лишь очередная стройная отговорка, одинаково гладко звучащая в любой тональности — что ж. Значит, побеждает связность.

 

Источник