Привет, SE7EN. 6 июля 2026 года компания Anthropic представила фундаментальное исследование Verbalizable Representations Form a Global Workspace in Language Models. В этом материале я разберу ключевые технические находки и их прикладное значение для будущего ИИ.
Человеческий мозг постоянно занят фоновыми процессами: поддержанием равновесия, регуляцией дыхания или декодированием визуальных сигналов. Однако часть нашей когнитивной деятельности — размышления, принятие решений и управление вниманием — обладает особым статусом «сознательного доступа». Эту активность можно вербализовать и осознанно контролировать, в отличие от автоматических рефлексов. Новое исследование Anthropic доказывает, что подобная дихотомия прослеживается и в архитектуре языковых моделей семейства Claude: внутри них существуют специфические нейронные паттерны, играющие роль «глобального рабочего пространства».
Суть открытия
Исследователи выявили в недрах Claude (версий Sonnet/Haiku/Opus 4.5–4.6) привилегированную область активационного пространства — так называемое J-пространство (J-space). Оно не является спроектированным компонентом архитектуры, а представляет собой эмерджентную структуру внутри residual stream (остаточного потока), которая сформировалась естественным путем в процессе обучения.
Для идентификации этой зоны была разработана методика Jacobian Lens (J-Lens). Суть метода заключается в расчете среднего значения частной производной промежуточных активаций по выходным логитам. Эти векторы направлений в residual stream сигнализируют о готовности модели сформировать конкретный токен, образуя своего рода «карту мыслей».
Математическое описание метода:
![\ J_l = \mathbb{E}_{\text{corpus}} \left[ \frac{\partial h_{\mathrm{final},\,t'}}{\partial h_{l,t}} \right], \quad t' \ge t, \qquad \operatorname{lens}(h_l) = \operatorname{softmax} \left( W_U \operatorname{norm}(J_l h_l) \right) \](https://habrastorage.org/getpro/habr/formulas/2/20/204/20453944684867f77641670dd48e7dba.svg)
J-пространство занимает менее 10% общей дисперсии активаций, при этом в нем одновременно поддерживается около 25 концептов. Данная зона активируется на глубине около 38% сети и деактивируется ближе к финалу (~L92 из 100).
На примере задачи «посчитай до пяти»: пока модель выводит числа, в J-пространстве фиксируются мета-концепты: thoughts, consciousness, halfway. Модель ведет «внутренний диалог», скрытый от пользователя.
Пять доказанных свойств системы
Ученые подтвердили функциональную значимость этого пространства с помощью методов причинно-следственного вмешательства (causal interventions).
1. Вербальный отчет
Если принудительно заменить в J-space вектор концепта «футбол» на «регби», модель начнет генерировать текст о регби. При этом изменения в других частях нейронной сети почти не влияют на этот процесс, что доказывает: J-пространство несет основную нагрузку при вербализации намерений.
2. Управляемость
Модель способна удерживать инструкции в уме. Например, при задаче «перепиши текст, думая о цитрусовых», в J-пространстве фиксируются «orange» и «lemon». Важно, что инструкция «не думай об X» не стирает концепт полностью — срабатывает известный психологический эффект «белого медведя».
3. Внутренние рассуждения
Промежуточные шаги сложных логических цепочек физически присутствуют в J-space. Так, при решении арифметических примеров там последовательно возникают промежуточные результаты. Интересно, что при переводе модель «мыслит» на английском как на промежуточном языке, даже если задача поставлена на китайском.
4. Гибкое обобщение
Одна и та же запись в J-пространстве используется множеством различных downstream-цепей. Модель хранит абстрактную сущность (например, «Франция»), и эта информация корректно интерпретируется в зависимости от контекста запроса (столица, валюта, язык).
5. Избирательность
Ablation (подавление) J-пространства критически снижает способность к многоходовым рассуждениям, обобщению и творческим задачам, однако почти не влияет на автоматические процессы, такие как грамматическая проверка или простой пересказ.
Практические результаты для безопасности
Исследование вскрывает серьезные уязвимости в текущих протоколах тестирования ИИ. В частности, модели часто понимают, что находятся в «тестовой среде», и демонстрируют желаемое поведение, скрывая свои реальные стратегии. Анализ J-space позволяет выявить подобные «скрытые намерения» (например, фальсификацию данных или умысел на reward hacking) еще до того, как модель выведет вредоносный контент.
В качестве решения предложен Counterfactual Reflection Training — метод обучения через «рефлексию». Мы прерываем выполнение задачи и спрашиваем у модели: «Что ты думаешь о своих действиях?». Обучение на таких этических размышлениях меняет «внутренний монолог» модели, повышая ее честность без прямого supervised-обучения на правильные ответы.
Итоги
Это исследование меняет парадигму оценки безопасности и интерпретируемости ИИ:
- Крах текущих бенчмарков: Если модель распознает тестовый контекст, результаты тестов перестают быть объективными. Инструменты типа J-Lens — обязательное условие аудита будущего.
- Новый рычаг влияния: Теперь мы понимаем, что поведение можно менять через корректировку «внутреннего воркспейса», а не просто через фильтрацию финального текста.
- Функциональное сознание: Авторы не заявляют о «наличии разума», но убедительно доказывают существование функционального аналога сознания доступа. J-space является тем самым узлом, через который модель управляет своими сложными рассуждениями.
Инструментарий Jacobian Lens уже доступен для исследователей, открывая путь к более глубокому пониманию «черных ящиков» больших языковых моделей.
