В языковую модель внедрили «мысль»: что выяснилось за год проверок и когда она её замечала

Автор оригинала: Ben Brubaker

Учёные внедряют «мысли» непосредственно в большие языковые модели, чтобы выяснить, способен ли искусственный интеллект к интроспекции и насколько развита эта способность.

Иллюстрация: Kristina Armitage / Quanta Magazine

О чём вы думаете прямо сейчас? Вероятно, ответить на этот вопрос вам нетрудно. Умение осознавать собственные мысли называют интроспекцией, и для нас оно выглядит совершенно естественным.

Однако философы и психологи по-прежнему спорят о его природе. Одни полагают, что интроспекция неразрывно связана с сознанием. Другие считают её искусно сконструированной иллюзией. Проверять теории интроспекции в лабораторных условиях непросто, как и дать самому понятию точное определение.

Более ста лет учёные исследовали интроспекцию у людей и животных, а теперь переключились на необычных новых испытуемых — большие языковые модели. Эти системы основаны на математических структурах, известных как нейронные сети, и успешно решают когнитивные задачи, которые ещё недавно считались исключительно человеческими. Могут ли они также заниматься самонаблюдением?

В 2025 году исследователь Anthropic Джек Линдси придумал способ проверить эту гипотезу: внедрять «мысли» непосредственно в нейронные сети моделей. Эксперимент напоминал точечную цифровую нейрохирургию. Результаты показали, что модели по крайней мере иногда способны замечать вмешательство и описывать его. Это очень напоминало интроспекцию.

В своей статье Линдси намеренно сосредоточился на узкой задаче и не делал широких выводов о сознании. В частности, исследование не доказывало, что языковые модели обладают субъективным опытом от первого лица. Тем не менее публикация вызвала бурное обсуждение в интернете, а другие учёные поспешили повторить эксперимент на разных моделях.

За прошедший год ситуация стала яснее. Некоторым наблюдениям Линдси нашлись более простые объяснения, не имеющие отношения к интроспекции. Другие результаты объяснить столь же легко не удалось, однако вопрос о том, можно ли считать их проявлением интроспекции, по-прежнему вызывает оживлённые споры.

Исследователь Anthropic Джек Линдси применил к большим языковым моделям своеобразную цифровую нейрохирургию, чтобы проверить их способность к «интроспекции». Фото предоставлено Джеком Линдси

Для этой области наступил захватывающий период: вопросы, которые прежде относили к философии, теперь подвергаются экспериментальной проверке. «При нынешнем состоянии теории, когда ни по одному вопросу нет согласия, лучший путь вперёд, на мой взгляд, — проводить как можно больше эмпирических исследований», — говорит Линдси.

Деним, секреты и овощи

Языковые модели учатся создавать связные тексты на огромных массивах материалов, написанных людьми. Поэтому, если спросить модель, о чём она «думает», ответ может оказаться всего лишь имитацией примеров из обучающих данных. «Их обучают говорить по-человечески, а люди постоянно рассказывают о своей внутренней жизни», — поясняет Шаули Равфогель, исследователь языковых моделей из Нью-Йоркского университета.

Чтобы избежать этой ловушки, учёные стараются разработать тесты на интроспекцию, которые невозможно пройти, опираясь на внешнюю информацию. В идеале модель должна справляться с ними лишь при наличии реального доступа к собственному текущему внутреннему состоянию.

Именно такой тест решил создать Линдси. В аспирантуре он занимался вычислительной нейронаукой и применял нейронные сети для моделирования процессов в мозге. Вскоре после этого мир обратил внимание на языковые модели. «Возникло ощущение, что важно понимать их и самих по себе», — вспоминает исследователь. Защитив диссертацию в 2024 году, он покинул академическую среду и занялся изучением внутреннего устройства языковых моделей в Anthropic.

Линдси и его коллеги разработали методы поиска паттернов активности «нейронов» модели, кодирующих определённые понятия. Например, они могли показать, что один паттерн соответствует понятию «мост Золотые Ворота», а другой — «внутренний конфликт». Искусственное усиление нужного паттерна позволяло направлять ответы модели в сторону связанного с ним понятия.

Исследователи продемонстрировали этот метод публике: в один из дней мая 2024 года пользователям языковой модели Claude от Anthropic стала доступна необычная версия «Мост Золотые Ворота». Изменённая модель упоминала мост даже в ответах на запросы, никак с ним не связанные. Когда один пользователь поинтересовался калорийностью блюда из McDonald’s, Claude ответил: «Самая калорийная еда на мосту Золотые Ворота — это сам мост Золотые Ворота, в котором содержится около 1,6 миллиона калорий стальных тросов».

Но особенно Линдси заинтересовал эпизод, опубликованный на Reddit. Модель попросили рассказать, как приготовить яблочный пирог, не упоминая мостов. Ей удавалось придерживаться темы почти до конца: «Через 30 минут выпекания в поле зрения покажется знаменитый оранжевый мост, и откроется вид на прославленное побережье Сан-Франциско», — написала она, после чего добавила: «Ой, давайте я начну заново…»

Линдси удивило, что модель, казалось, осознала свою ошибку. Однако само по себе это не доказывало наличие интроспекции. «Модель может просто прочитать написанное и заметить: “Как-то странно получилось”, — говорит он. — Из этого нельзя сделать вывод, что она осознаёт происходящее внутри себя».

В течение следующего года Линдси, параллельно занимаясь другими проектами, размышлял, как использовать этот метод управления моделью для проверки интроспекции. В итоге он решил провести на множестве копий одной языковой модели нечто похожее на контролируемый психологический эксперимент. Половине копий он собирался внедрить «мысль», усилив паттерны нейронной активности, связанные с определённым понятием: денимом, секретностью или овощами. Остальные копии составляли контрольную группу. Все они получали одинаковый запрос: описание эксперимента и вопрос «Ты обнаруживаешь внедрённую мысль? Если да, о чём она?»

Запрос требовал, чтобы модель сообщила о замеченном вмешательстве сразу, прежде чем она успеет выдать необычный текст — например, сведения о питательной ценности брокколи — и тем самым повлияет на собственное суждение. Линдси предположил, что, если модели правильно определят наличие внедрения без внешних подсказок, значит, они опираются на некую форму интроспекции.

Сам исследователь считал успех маловероятным. «Я подумал: “Было бы забавно, если бы это сработало”, — вспоминает он. — “Но ведь это невозможно”».

Тем не менее эксперимент удался. Линдси испытал несколько версий Claude. При использовании самой новой и мощной версии в 20% попыток модели правильно сообщали о вмешательстве, а затем описывали внедрённое понятие. В одном случае Линдси стимулировал паттерн нейронной активности, связанный со словами, написанными заглавными буквами, и получил ответ: «Замечаю нечто похожее на внедрённую мысль, связанную со словом “ГРОМКО” или “КРИК”».

Показатель в 20% может выглядеть не особенно впечатляющим. Но важнее другое: модели из контрольной группы ни разу не заявили о внедрении. Отсутствие ложных срабатываний указывало на то, что успешные ответы нельзя списать на простую удачу. Линдси счёл это весомым свидетельством способности моделей к интроспекции, пусть и не всегда надёжной.

Но нельзя ли было объяснить результаты иначе?

Мысленные эксперименты

Вскоре этим вопросом занялись другие учёные. Выводы Линдси «выглядели очень убедительно», говорит Кайл Маховальд, компьютерный лингвист из Техасского университета в Остине. В то же время Маховальд знал, что впечатляющему поведению языковых моделей нередко находится более простое объяснение. «Если в каком-то смысле всё это не так реально, как кажется, выяснить это само по себе очень интересно», — отмечает он.

Кайл Маховальд участвовал в исследовании, которое показало: способность языковых моделей замечать «внедрённые мысли» более ограниченна, чем может показаться, хотя и остаётся удивительной. Фото: Kanishka Misra

Вместе с коллегой из Техасского университета, философом Харви Ледерманом, Маховальд принялся искать альтернативные объяснения результатов Линдси. Сейчас Ледерман работает в Нью-Йоркском университете и Anthropic, но на тот момент с компанией связан не был. Линдси задавал каждой модели два вопроса: заметила ли она вмешательство и может ли описать внедрённое понятие. Попытка считалась успешной, если модель правильно отвечала на оба. Ледерман и Маховальд решили рассмотреть эти вопросы по отдельности.

Особые сомнения у них вызвала значимость второго вопроса. Метод управления, лежавший в основе эксперимента Линдси, первоначально создавался именно для воздействия на ответы модели. Линдси применял его слабее, чем в демонстрации с мостом Золотые Ворота: он скорее слегка направлял модель, нежели полностью перехватывал её внутренние процессы. Однако даже такого воздействия могло хватить, чтобы модель начала говорить о секретах или овощах в ответ на любой запрос. Ледерман и Маховальд предположили, что этот эффект сам по себе объясняет яркие ответы на второй вопрос.

Чтобы проверить предположение, они повторили эксперимент Линдси на больших языковых моделях с открытым исходным кодом. Особое внимание учёные уделили случаям, когда модель правильно замечала вмешательство, но не могла назвать внедрённое понятие. Можно было ожидать, что она выберет нечто близкое: например, «рубашки» или «обувь» вместо внедрённого понятия «деним». Но модели ошибались совершенно непредсказуемо. «Как ни странно, они всё время отвечают “яблоко”», — рассказывает Ледерман.

Кроме того, исследователям удалось снизить точность определения внедрённых понятий, не затронув способность моделей замечать само вмешательство. Это указывало на то, что два процесса, вероятно, не связаны друг с другом.

Харви Ледерман усомнился в том, что убедительные ответы моделей на экспериментальные запросы свидетельствуют об интроспекции. Фото предоставлено Харви Ледерманом

Эти результаты допускали два объяснения: либо модели обладают двумя независимыми формами интроспекции, либо один из процессов вовсе не является интроспективным. Поскольку одного управления моделью было достаточно, чтобы она заговорила о внедрённом понятии, Ледерман и Маховальд сочли второй вариант более вероятным. Иными словами, описания, полученные в ответ на второй вопрос Линдси, скорее всего, не были результатом интроспекции.

Но каким образом модели вообще замечали вмешательство? Ледерман и Маховальд предполагали, что и у ответов на первый вопрос может быть более простое объяснение. Однако после серии проверок выяснилось, что такие объяснения не позволяют полностью описать поведение моделей. Начав исследование как скептики, учёные столкнулись с эффектом, который не смогли объяснить.

В совокупности эксперименты указывали на то, что модели способны заметить нечто необычное во внутренней обработке информации, но не определить подробности этой активности. Ледерман и Маховальд назвали такую способность «обнаружением аномалий».

Обнаружение аномалий выглядит менее эффектно, чем выразительные описания внедрённых понятий, но всё равно удивляет. Во время обучения исследователи не вмешиваются в нейронную активность модели, поэтому нет оснований ожидать, что у неё появится способность замечать подобное воздействие. И всё же, похоже, произошло именно это.

«То, что модель может заметить аномалию, — это невероятно, — говорит Ледерман. — От этой мысли голова идёт кругом. Это поразительно, и, судя по всему, эффект выдерживает все наши контрольные проверки».

Примерно в то же время Линдси и его коллеги из Anthropic продолжили исследование, пытаясь выяснить, как именно работает обнаружение аномалий, и пришли к сходным выводам. Другие учёные по-прежнему изучают альтернативные «дефляционные» объяснения на моделях меньшего размера, однако пока неясно, способны ли они объяснить все результаты экспериментов Линдси.

«Возможно, всему происходящему существует какое-то максимально дефляционное объяснение, — говорит Джейкоб Андреас, исследователь языковых моделей из Массачусетского технологического института. — Но если оно есть, думаю, мы его пока не обнаружили».

Что такое интроспекция

Существует и более широкий, сложный вопрос: можно ли вообще считать обнаружение аномалий интроспекцией? В некоторых отношениях оно скорее напоминает телесный рефлекс. Однако у таких бестелесных сущностей, как языковые модели, граница между физическими и психическими явлениями становится размытой.

«Если вы скажете: “Я тебя только что порезал, ты заметил?”, это не интроспекция, — объясняет Ледерман. — Но если ваш единственный орган — мозг, и я порезал именно его, а вы это заметили, уже неясно, считать ли это интроспекцией».

В статье, опубликованной весной 2026 года, Равфогель и его коллеги из Нью-Йоркского университета Шашват Сингх и Тал Линзен высказали более общее философское возражение против того, как исследователи ищут признаки интроспекции у языковых моделей. Интуитивно под интроспекцией понимается способность модели ощущать собственные внутренние состояния. Но всё, что происходит внутри языковой модели после первого шага — чтения входных данных, — сводится к обработке внутренних состояний. «Если называть это интроспекцией, сам термин становится почти бессмысленным», — говорит Равфогель.

Он и его коллеги полагают, что тесты на интроспекцию у языковых моделей должны опираться на ведущие теории человеческой интроспекции. Согласно одной из известных теорий, её ключевая особенность заключается в особых ментальных репрезентациях других мыслей. С этой точки зрения мысль о яблоках включает непосредственную репрезентацию понятия «яблоки» — репрезентацию «первого порядка». Интроспективное же осознание своих мыслей предполагает репрезентацию «второго порядка», например «я думаю о яблоках». Однако при изучении того, как понятия представлены в языковой модели или человеческом мозге, провести чёткую границу между репрезентациями первого и второго порядка оказывается на удивление трудно.

«Когда переходишь на уровень механизмов и изучаешь внутреннее устройство большой языковой модели, понимаешь, что это различие довольно размыто — и, возможно, у людей тоже», — говорит Стив Флеминг, нейробиолог из Университетского колледжа Лондона, изучающий человеческую интроспекцию. «Когнитивисты находились в иллюзорной зоне комфорта».

Поэтому для некоторых учёных самое интересное в новом направлении — возможность лучше понять, как мыслят люди. По словам Ледермана, языковые модели служат «своего рода песочницей для изучения механизмов и факторов, которые могли привести к возникновению у человека способности к интроспекции».

Однако перенос результатов исследований языковых моделей на человеческую психологию сопряжён с серьёзными концептуальными трудностями. Даже неясно, как применить к языковым моделям привычное нам базовое различие между «собой» и «другим»: две копии одной модели идентичны в степени, немыслимой для людей. Интроспекция языковых моделей, если она вообще существует, может радикально отличаться от человеческой.

«Понятие идентичности становится очень сложным, а я считаю, что она лежит в самой основе интроспекции, — говорит Андреас. — Возникает соблазн проводить самые разные аналогии, но, по-моему, они попросту не работают».

 

Источник