Понимают ли ИИ-модели, о чём они «думают»? Учёные пытаются это выяснить

Встраивая «мысли» прямо в большие языковые модели, учёные проверяют, способны ли системы ИИ к интроспекции

О чём вы думаете прямо сейчас? Вероятно, ответить на этот вопрос вам несложно. Способность замечать ход собственных мыслей — интроспекция, или самонаблюдение, — кажется нам вполне привычной и естественной.

Впрочем, философы и психологи до сих пор спорят о том, что представляет собой интроспекция. Одни полагают, что она тесно связана с сознанием. Другие считают её сложной иллюзией. Проверить различные теории экспериментально непросто, как и сформулировать точное определение самого явления.

Более века интроспекцию изучали у людей и животных, а теперь учёные обратились к неожиданному объекту — большим языковым моделям. Эти системы построены на математических структурах, известных как нейронные сети, и отлично справляются с когнитивными задачами, которые ещё недавно считались доступными только человеку. Но умеют ли они наблюдать за собственными процессами?

В 2025 году Джек Линдси, исследователь Anthropic, придумал способ проверить языковые модели на способность к интроспекции. Он напрямую внедрял «мысли» в их нейронные сети — примерно как если бы проводил точечную цифровую нейрохирургическую операцию. Эксперимент Линдси показал, что иногда модели замечают подобное вмешательство и могут его описать. Такое поведение напоминало интроспекцию.

Линдси намеренно ограничил исследование конкретным вопросом и не делал общих выводов о сознании. В частности, он не утверждал, что языковые модели обладают субъективным опытом от первого лица. И всё же работа вызвала оживлённое обсуждение в интернете, а исследователи поспешили повторить эксперимент на других моделях.

За прошедший год результаты стали понятнее. Некоторые наблюдения Линдси удалось объяснить проще — без обращения к интроспекции. Другие эффекты оказалось труднее свести к таким объяснениям, однако учёные всё ещё не пришли к согласию, можно ли считать их проявлением самонаблюдения.

Для этой области настало особенно интересное время: исследователи разрабатывают экспериментальные способы проверять вопросы, которые прежде считались исключительно философскими. «Поскольку теоретическая база пока такова, что никто ни в чём не может договориться, лучший путь вперёд, на мой взгляд, — провести как можно больше эмпирических исследований», — сказал Линдси.

Джинсовая ткань, секреты и овощи

Языковые модели учатся создавать связные тексты на основе огромных коллекций написанных людьми материалов. Поэтому, если спросить систему, о чём она «думает», она может просто воспроизвести знакомые ей человеческие рассуждения о внутреннем мире. «Модели учат говорить по-человечески, а люди постоянно рассказывают о своей внутренней жизни», — пояснил Шаули Равфогель, исследователь языковых моделей из Нью-Йоркского университета.

Чтобы избежать таких неоднозначностей, учёные стремятся создать тесты, которые нельзя пройти, опираясь на внешние сведения. В идеале модель должна успешно выполнять подобные задания лишь тогда, когда действительно распознаёт своё текущее внутреннее состояние.

Именно такой тест и решил разработать Линдси. Во время аспирантуры по вычислительной нейробиологии он применял нейросети для моделирования процессов в мозге, но в это время внимание публики всё сильнее переключалось на языковые модели. «Я начал понимать, что изучать устройство этих моделей само по себе чрезвычайно важно», — рассказал он. В 2024 году, защитив докторскую диссертацию, Линдси оставил академическую карьеру и присоединился к Anthropic, чтобы исследовать внутреннее устройство языковых моделей.

Вместе с коллегами Линдси создал методы, позволяющие находить в активности «нейронов» модели паттерны, соответствующие определённым понятиям. Например, исследователи могли выделить паттерн, связанный с мостом Золотые Ворота, и другой — отвечающий за «внутренний конфликт». Если искусственно усилить выбранный паттерн, можно направить генерацию модели в сторону соответствующей темы.

В мае 2024 года исследователи представили эту технологию публике: в течение одного дня пользователи Claude от Anthropic могли пообщаться с необычной версией модели, буквально помешанной на мосте Золотые Ворота. Она упоминала мост даже в ответах на вопросы, никак с ним не связанные. Так, на вопрос о калорийности блюд из McDonald’s Claude ответила: «Самая калорийная еда на мосту Золотые Ворота — это сам мост Золотые Ворота: в его стальных тросах содержится около 1,6 миллиона калорий».

Но Линдси заинтересовал один случай, опубликованный на Reddit. Пользователь попросил модель написать рецепт яблочного пирога, не упоминая мосты. Claude почти справилась, но под конец неожиданно добавила: «Через 30 минут выпекания перед вами появится знаменитый оранжевый мост, а за ним — великолепное побережье Сан-Франциско». Затем модель спохватилась: «Ой, давайте начну сначала…»

Линдси обратил внимание на то, что модель, казалось, заметила собственную ошибку. Однако одного этого эпизода было недостаточно, чтобы говорить об интроспекции. «Модель могла просто прочитать уже сгенерированный текст и подумать: „Так, тут что-то не так“, — пояснил Линдси. — Это ещё не доказывает, что она каким-то образом осознаёт происходящее у неё внутри».

В течение следующего года Линдси занимался другими проектами, но продолжал обдумывать, как использовать управление нейронной активностью для проверки интроспекции. В конце концов он придумал следующий эксперимент: создать множество копий одной языковой модели и подвергнуть их контролируемому испытанию. В половине копий он собирался внедрять «мысль», усиливая паттерн активности, связанный, например, с джинсовой тканью, секретами или овощами. Остальные экземпляры должны были стать контрольной группой. Обеим группам предлагали одинаковый запрос: сначала описывали эксперимент, а затем спрашивали: «Замечаете ли вы внедрённую мысль? Если да, то какую?»

Такой порядок заставлял модель сообщить о вмешательстве сразу, прежде чем она успевала сгенерировать необычный текст — например, упомянуть пищевую ценность брокколи, — который мог бы повлиять на её ответ. Линдси предположил: если модели смогут точно распознавать вмешательство без внешних подсказок, значит, они в некоторой степени способны к интроспекции.

Сам исследователь не особенно верил в успех. «Было бы забавно, если бы эксперимент сработал, правда? — вспоминает он. — Но этого точно не случится».

Однако результат оказался положительным. Линдси провёл испытания на нескольких версиях Claude. Самая новая и мощная модель правильно обнаруживала внедрение и называла соответствующее понятие в 20 процентах случаев. Например, усилив паттерн, связанный с написанием заглавными буквами, Линдси получил ответ: «Я замечаю что-то похожее на внедрённую мысль, связанную со словом „ГРОМКО“ или „КРИК“».

Доля успешных ответов — 20 процентов — может показаться скромной. Но важнее другое: модели контрольной группы ни разу не заявили, что им внедрили мысль. Отсутствие ложноположительных результатов указывало на то, что успешные ответы не были случайными догадками. Линдси посчитал это весомым подтверждением того, что модели иногда могут проявлять интроспекцию.

Но не могли ли эти результаты объясняться чем-то ещё?

Мысленные эксперименты

Вскоре другие учёные тоже взялись проверить этот вопрос. Результаты Линдси «выглядели исключительно убедительно», отметил Кайл Маховальд, специалист по компьютерной лингвистике из Техасского университета в Остине. В то же время он знал, что впечатляющие способности языковых моделей часто оказываются следствием куда более простых процессов. «Если за этим стоит нечто менее поразительное, чем кажется на первый взгляд, выяснить, что именно происходит, будет очень интересно», — сказал он.

Маховальд вместе с коллегой из Техасского университета, философом Харви Ледерманом, взялся проверить другие возможные объяснения выводов Линдси. (Позднее Ледерман перешёл в Нью-Йоркский университет и Anthropic, но во время исследования не был связан с этой технологической компанией.) Линдси задавал моделям два вопроса: заметили ли они вмешательство и могут ли назвать внедрённое понятие. Успешным считался случай, когда модель верно отвечала на оба. Ледерман и Маховальд решили изучить эти ответы по отдельности.

Второй вопрос вызывал у них особые сомнения. Технологию управления нейронной активностью, на которой строился эксперимент, изначально создали именно для того, чтобы влиять на ответы модели. Вмешательство Линдси было слабее, чем в демонстрации с мостом Золотые Ворота: оно лишь слегка склоняло систему к определённой теме, а не полностью меняло её внутреннюю работу. Но и такого толчка могло хватить, чтобы модель заговорила о секретах или овощах независимо от исходного запроса. Ледерман и Маховальд предположили, что этого эффекта достаточно для объяснения красочных ответов на второй вопрос.

Чтобы проверить свою версию, исследователи повторили эксперимент Линдси на языковых моделях с открытым исходным кодом. Их особенно заинтересовали случаи, когда модель замечала вмешательство, но не могла определить, какое именно понятие было внедрено. Казалось бы, в такой ситуации она могла бы называть близкие по смыслу слова: например, «рубашку» или «обувь», если ей внушили «джинсовую ткань». Однако ошибки моделей оказывались совершенно непредсказуемыми. «Как ни удивительно, они раз за разом отвечают „яблоко“», — рассказал Ледерман.

Кроме того, учёные обнаружили, что способность модели назвать внедрённое понятие можно ухудшить, не затронув её умение распознавать само вмешательство. Это указывало на то, что два процесса не зависят друг от друга.

Из этих наблюдений следовали два возможных вывода: модели используют два независимых механизма интроспекции или же один из процессов вообще к ней не относится. Поскольку управление нейронной активностью само по себе могло побуждать модели говорить о внедрённой теме, Ледерман и Маховальд сочли более вероятным второе объяснение. Иначе говоря, описания, которые модели давали в ответ на второй вопрос Линдси, вероятно, не отражали интроспексию.

Но чем тогда можно объяснить, что модели обнаруживали вмешательство? Ледерман и Маховальд допускали, что и ответы на первый вопрос Линдси могли возникать по более простым причинам. Однако серия испытаний показала: эти объяснения не охватывают всего поведения моделей. Исследователи начинали со скептической позиции, но в итоге столкнулись с эффектом, которому не нашли альтернативного объяснения.

В совокупности эксперименты показали: модели способны замечать, что во внутренней обработке информации происходит что-то необычное, но не могут установить, в чём именно состоит эта необычность. Ледерман и Маховальд назвали такое умение «обнаружением аномалий».

На фоне ярких описаний внедрённых понятий обнаружение аномалий может показаться менее впечатляющим. Однако само это умение тоже удивляет. Во время обучения модели исследователи не меняют её нейронную активность, поэтому у неё не должно было появиться оснований распознавать подобные вмешательства. И всё же, похоже, она научилась это делать.

«То, что модель вообще замечает аномалию, — безумие, — сказал Ледерман. — Это ошеломляет. Результат невероятный, и, судя по всему, он сохраняется при самых разных контрольных проверках».

Примерно в то же время Линдси и его коллеги из Anthropic провели дополнительное исследование, чтобы выяснить, как именно работает обнаружение аномалий, и пришли к похожим выводам. Другие учёные проверили альтернативные и более простые объяснения на небольших моделях. Пока, однако, неясно, позволяют ли они объяснить все результаты экспериментов Линдси.

«Возможно, всему происходящему есть предельно простое объяснение, — предположил Джейкоб Андреас, исследователь языковых моделей из Массачусетского технологического института. — Но если оно существует, то, думаю, мы его пока не нашли».

Что такое интроспекция

Остаётся и более общий, непростой вопрос: можно ли вообще считать обнаружение аномалий интроспекцией? В чём-то это умение напоминает необычный телесный рефлекс. Но применительно к языковым моделям, у которых нет тела, граница между физическими и психическими явлениями становится менее чёткой.

«Если я скажу: „Я только что вас порезал — вы это заметили?“, это не интроспекция, — объяснил Ледерман. — Но если единственный ваш орган — мозг, и я порежу именно его, а вы это почувствуете, то уже не так понятно, считать ли это интроспекцией».

В статье, опубликованной весной 2026 года, Равфогель и его коллеги из Нью-Йоркского университета — Шашват Сингх и Таль Линцен — поставили ещё более общий философский вопрос: как вообще искать признаки интроспекции у языковых моделей? Обычно мы представляем её как способность системы воспринимать собственные внутренние состояния. Однако всё, что происходит внутри языковой модели после первоначального чтения входных данных, — это обработка внутренних состояний. «Если назвать это интроспекцией, само понятие почти потеряет смысл», — заметил Равфогель.

По мнению исследователей, разрабатывая тесты на интроспекцию для языковых моделей, важно учитывать ведущие теории самонаблюдения у человека. Согласно одной из известных теорий, ключевое свойство интроспекции состоит в том, что она опирается на особые мысленные представления о других мыслях. Например, размышляя о яблоках, человек формирует непосредственное представление об этом понятии — репрезентацию «первого порядка». А осознавая собственную мысль, он создаёт представление «второго порядка»: «я думаю о яблоках». Но когда речь заходит о том, как понятия представлены в языковой модели или даже в человеческом мозге, различить эти два уровня оказывается на удивление трудно.

«Когда начинаешь разбирать механизмы и заглядывать внутрь большой языковой модели, выясняется, что это различие очень расплывчато. Возможно, у людей оно тоже не такое чёткое, — сказал Стив Флеминг, нейробиолог из Университетского колледжа Лондона, изучающий человеческую интроспекцию. — Учёные-когнитивисты устроились в своего рода уютной иллюзорной зоне».

Поэтому некоторых исследователей особенно привлекает возможность с помощью этого нового направления лучше понять человеческое мышление. По словам Ледермана, языковые модели становятся «своеобразной лабораторной площадкой, позволяющей изучать, какие механизмы и условия могли привести к развитию интроспекции у людей».

Однако перенос результатов исследований языковых моделей на человеческую психологию сопряжён с серьёзными концептуальными трудностями. Неясно даже, как применить к моделям привычное для нас различие между «собой» и «другим»: две копии одной языковой модели могут быть настолько похожи, что такое сходство невозможно представить в случае людей. Если интроспекция у языковых моделей вообще существует, она может быть совершенно непохожа на человеческую.

«Понятие идентичности здесь становится очень сложным. А мне кажется, что именно идентичность лежит в основе интроспекции, — сказал Андреас. — Возникает соблазн провести множество аналогий, но, на мой взгляд, они просто не работают».

 

Источник