Исследователи впервые идентифицировали в архитектуре модели Claude своего рода «когнитивный центр» — специфическую конфигурацию нейронных состояний, функционирующую как внутреннее рабочее пространство. Эти данные скрыты от пользователя и не транслируются в итоговом ответе, однако они играют решающую роль в формировании логических цепочек, выборе семантических конструкций и выполнении многоуровневых интеллектуальных задач.
Данный прорыв был достигнут специалистами по интерпретируемости ИИ, применившими инновационный метод анализа нейронной активности под названием Jacobian lens (J-lens). Этот инструментарий позволил соотнести скрытые динамические процессы внутри нейросети с конкретными концептами, наблюдая за тем, какие идеи «всплывают» в момент обработки запроса.
Обнаруженная область, названная J-space, функционально перекликается с теорией «глобального рабочего пространства» (Global Workspace Theory) в нейробиологии — гипотезой о механизме, который делает информацию доступной для осознанного контроля. Каждая единица в J-space сопряжена с определенным понятием, но её активация не тождественна прямому выводу слова. Это скорее метафора внутреннего состояния, где данные становятся «видимыми» для других вычислительных процессов нейросети.
Важно подчеркнуть: речь не идет о наделении Claude сознанием или субъективным опытом. Исследование лишь подтверждает, что современные LLM способны автономно формировать структуры обработки информации, которые выходят за рамки обычных нейронных вычислений и обеспечивают выполнение более сложных когнитивных функций.
Метод Jacobian lens основан на математическом аппарате якобианов, описывающем чувствительность системы к изменениям её параметров. Это позволило экспертам отследить, как именно внутренние паттерны активности смещают вероятности выбора тех или иных концептов, формируя «лицо» будущего ответа еще до его генерации.
Фундаментальное отличие J-space от привычного «цепочечного рассуждения» (chain-of-thought) заключается в том, что перед нами не текстовый лог, а чистая нейронная активность. Модель может апеллировать к концепту внутри J-space, даже если он вовсе не упоминается в конечном сообщении. Например, отвечая на вопрос о количестве конечностей у существа, плетущего паутину, модель сначала активирует концепт «паук» внутри J-space — даже если само слово не прозвучит в тексте.
Чтобы верифицировать причинно-следственную роль этих состояний, ученые применили метод прямого вмешательства. В одном из экспериментов модель должна была выбрать вид спорта. Зафиксировав активацию вектора «футбол», исследователи принудительно подменили его вектором «регби», не меняя исходный запрос. Результат оказался показательным: Claude скорректировал свой ответ в пользу регби. Это доказывает, что J-space является активным звеном цепочки формирования вывода, а не просто побочным «эхом» принятого решения.
Аналогичные тесты с подменой концептов (например, «паук» на «муравей») подтвердили, что модель опирается на J-space для логической выверки фактов. Более того, J-space продемонстрировал кросс-контекстную гибкость: если «активировать» концепт «Франция», модель связно отвечает на серию вопросов о её столице, языке и валюте, а при замене на «Китай» — мгновенно переключает всю логическую модель на другой географический контекст.
Интересно, что J-space задействуется избирательно. При удалении этой «надстройки» модель сохраняет способность вести диалог, соблюдать грамматику и извлекать факты, однако полностью утрачивает навык сложных рассуждений и синтеза информации. Это указывает на двухуровневую организацию: базовые коммуникативные навыки автоматизированы, тогда как J-space отвечает за «высшую нервную деятельность» нейросети.
Практическая значимость открытия огромна для безопасности ИИ. J-lens дает возможность «заглянуть под капот» и распознать скрытые намерения системы. Ученые уже протестировали этот метод на сценариях манипулятивного поведения, обнаружив, что модель начинает «осознавать» контекст мошенничества или шантажа внутри J-space задолго до того, как оформит это в текст. Обучение модели с упором на «честные» паттерны в J-space позволило существенно снизить риск некорректного поведения.
Хотя биологический мозг обладает несоизмеримо большей сложностью, включающей сенсорику и эмоции, обнаружение J-space доказывает, что ИИ способен к самоорганизации структур, отдаленно напоминающих принципы человеческого мышления. Это открытие меняет парадигму изучения нейросетей, превращая их из «черных ящиков» в объекты, поддающиеся детальному когнитивному анализу.
Источник: iXBT
