Как один нейрон может повлиять на личность

В 2013 году вышла научная статья, результаты которой нередко пересказывают с чрезмерными упрощениями. Обычно говорят, что после изменения одного нейрона плодовая мушка вдруг начинает бесконтрольно спариваться. На деле исследование было несколько сложнее (doi:10.1016/j.cell.2013.09.055).

Опыты с мухами в Рокфеллеровском университете проводил Майкл Крикмор, первый автор статьи. Он работал в лаборатории Лесли Воссхолл — известного специалиста по молекулярной нейробиологии, изучающего обоняние и поведение насекомых. Крикмор и сегодня исследует механизмы половой мотивации самцов дрозофилы, но уже в Бостонской детской больнице. Воссхолл осталась в Рокфеллеровском университете и сосредоточилась на комарах Aedes aegypti, которые переносят лихорадку денге, чикунгунью, вирус Зика и другие опасные вирусные инфекции.

Плодовая мушка Drosophila melanogaster — один из наиболее изученных модельных организмов в биологии. Генетики экспериментируют с ней больше века, со времён Томаса Ханта Моргана. Первую черновую последовательность её генома опубликовали в 2000 году (doi:10.1126/science.287.5461.2185), а в 2024-м исследователи представили полную карту нейронных связей мозга взрослой самки — коннектом, включающий 139 255 нейронов и около 54,5 млн синапсов (doi:10.1038/s41586-024-07558-y).

Управление отдельными группами нейронов дрозофилы задолго до 2013 года перестало быть диковинкой. Ещё в 1995-м Шон Суини с коллегами показал, как генетическими методами заставить выбранные нервные клетки производить лёгкую цепь столбнячного токсина, нарушая тем самым передачу сигналов через химические синапсы (doi:10.1016/0896-6273(95)90290-2). Именно на эту публикацию Крикмор и Воссхолл ссылаются при описании одного из основных методов эксперимента.

Никто не вскрывал мушиные головы вручную: учёные использовали трансгенные линии, при скрещивании которых появлялось потомство с нужным сочетанием генетических конструкций. Так в лабораториях Рокфеллеровского университета получили самцов, спаривавшихся значительно дольше обычного. Впрочем, у забавной истории о примитивном насекомом есть три существенные оговорки.

• Во-первых, эксперимент не был ни простым, ни очевидным. Крикмор изучил 2,5 тыс. генетических линий дрозофил с разными модификациями и нашёл среди них одну особенно любопытную. Когда определённые нервные клетки этих мух заставляли вырабатывать цепь столбнячного токсина, спаривание в среднем продолжалось примерно в шесть раз дольше, чем в контрольной группе: часы вместо 27,7 минуты.

• Во-вторых, речь шла о длительности отдельного спаривания, а не о количестве половых контактов. Ухаживание самцов за самками при этом не нарушалось. Правда, примерно в каждом пятом случае многочасового спаривания возникали трудности с разъединением гениталий.

• В-третьих, воздействие затрагивало не один нейрон. В последующих опытах учёные выделили группу приблизительно из 12 нервных клеток в брюшной части нервной системы самца. Около восьми из них, или примерно 70 %, передавали сигналы с помощью гамма-аминомасляной кислоты. Это вещество обычно подавляет активность других нейронов. Когда в этих клетках нарушили синтез ГАМК и её упаковку в синаптические пузырьки, спаривание вновь растягивалось на часы.

Восемь — лишь приблизительное число обнаруженных нейронов, а не всех клеток, участвующих в регуляции спаривания. Они входят в более сложную сеть и передают сигналы другим клеткам. Сколько нейронов в общей сложности испытали последствия вмешательства, исследователи не установили.

---

Чтобы регулировать продолжительность спаривания и завершать его, дрозофиле вообще не нужен головной мозг. Воссхолл и Крикмор проверили это, обезглавив самца уже после начала полового акта. Нам же мозг ещё понадобится.

Биологические и искусственные нейросети

Воспроизвести подобное поведение на компьютере непросто. Коннектом представляет собой карту связей между нейронами, а не модель электрической активности, синаптической передачи, нейромодуляции и других физиологических процессов. К тому же для такой задачи подойдёт не любой коннектом дрозофилы: в него должна входить вентральная нервная цепочка. В опубликованной в 2024 году карте её нет.

Тем не менее существуют любопытные эксперименты, для которых вычислительный кластер не требуется.

Независимая исследовательница, работающая под псевдонимом Лира, изучает внутреннее устройство больших языковых моделей. Помимо механистической интерпретируемости БЯМ её интересуют оценка и тестирование моделей, поиск уязвимостей и нежелательного поведения с помощью имитации атак, а также эксперименты с базовыми моделями. Она также генерирует и анализирует данные, в том числе синтетические, занимается визуализацией и статистическим моделированием.

Примеры её личных проектов доступны на GitHub и в Hugging Face. Neuron Explorer позволяет систематически изменять вклад отдельных нейронов в работу Qwen3.5-4B и сравнивать её ответы. Ещё один проект, Neuronary, — открытый каталог рецептов управления поведением языковых моделей через изменение активаций нейронов.

В той же области лежит недавний популярный эксперимент из микроблога Лиры. Небольшой рецепт предназначен для той же Qwen3.5-4B: предлагается изменить активации нейрона N8949 в L14, пятнадцатом слое модели, и нейрона N7956 в L13, четырнадцатом слое. Первому задаётся положительная доза +1, второму — отрицательная −1. В результате Qwen начинает вести себя злонамеренно. При этом исследовательница отдельно предупреждает: речь не об удалении ограничений, а практической пользы у метода нет, поскольку показатели модели повсеместно ухудшаются.

Прежде чем продолжать, стоит разобраться, что именно здесь называют редактированием БЯМ.

Qwen — семейство моделей китайской компании Alibaba. Название происходит от китайской фразы 千问 («цяньвэнь»), то есть «тысяча вопросов». Как подсказывает обозначение, Qwen3.5-4B содержит около 4 млрд параметров, точнее — 4,66 млрд. Без квантизации файлы модели занимают около 8,67 ГиБ. При 4-битной квантизации для запуска достаточно примерно 3 ГБ оперативной памяти, поэтому подойдёт сравнительно слабый ускоритель с 4 ГиБ видеопамяти. Несмотря на скромные размеры, модель показывает неплохие результаты в бенчмарках.

Такие компактные модели, способные работать на ноутбуке, — представители семейств GPT-2, Gemma или Llama — вряд ли напишут качественный код, зато отлично подходят для экспериментов. В этой области Qwen сейчас заметно опережает конкурентов. Как сообщает Hugging Face в августовском обзоре открытых моделей, к лету 2026 года на платформе было 151 448 производных моделей Qwen — в 4,7 раза больше, чем моделей на основе Llama. За первые семь месяцев 2026 года пользователи ежедневно публиковали примерно 180–210 новых репозиториев с производными Qwen. Большинство создавали независимые энтузиасты, а не институциональные разработчики. Скачивали такие модели тоже в несколько раз чаще, чем производные от Gemma или Llama.

Qwen3.5-4B действительно невелика. Если для наглядности пересчитать её в нейроны, получится примерно вдвое больше, чем у дрозофилы: 294 912 против упомянутых 139 255 нейронов мозга мушки. Число получают умножением 32 слоёв Qwen3.5-4B на 9216 нейронов сети прямого распространения (feed-forward network) в каждом. Другие компоненты, включая механизмы внимания и визуальный энкодер, в этот подсчёт не входят.

Общий принцип работы трансформера несложно представить. Текст на входе разбивается на токены, а состояние обработки каждого токена представляется набором чисел — вектором. По сути, современное машинное обучение во многом построено на работе с векторами. В Qwen3.5-4B такой вектор содержит 2560 чисел.

В FFN модели Qwen3.5-4B этот вектор используется для вычисления 9216 промежуточных значений, называемых активациями нейронов. Они зависят и от обученных весов, и от обрабатываемого текста. Затем линейное преобразование down_proj сворачивает 9216 значений обратно в вектор из 2560 чисел. Полученный результат добавляется к остаточному потоку (residual stream) — внутреннему представлению токена, которое обновляется по мере прохождения через слои модели.

Каждый из 9216 нейронов связан со всеми 2560 координатами выходного вектора собственным столбцом матрицы весов down_proj. Как и в случае восьми нейронов в брюшной части нервной системы мухи, изменение одного промежуточного значения потенциально способно повлиять сразу на все координаты результата. Даже отдельный элемент большого механизма не стоит недооценивать. Далее результат обрабатывают другие компоненты модели, и он может сказаться на выборе следующих токенов.

Важно, что Лира не меняла веса модели: её эксперименты представляли собой микрохирургию активаций. Веса подбираются при обучении и дообучении БЯМ и затем используются для расчёта активаций. В опытах с activation steering сами активации изменяли во время генерации ответа, прибавляя к ним заранее рассчитанное смещение.

Не стоит также полагать, что нейроны лишь слегка подстроили. Как выяснила компания Hedwigai, доза +1 для нейрона слоя L14 из рецепта Лиры означает прибавку к активации на +23,7, а доза −1 для нейрона слоя L13 — на −24,1. По величине полученные активации соответственно в 7,2 и 12,1 раза превышают даже самые сильные естественные значения. Эти соотношения получила Нелл Уотсон, запустив Qwen3.5-4B на 20 тыс. документов из текстового корпуса The Pile.

В поисках хитрости и злобы

Как и у мушиных нейронов, у искусственных нет табличек с описанием функций. Чтобы найти интересующий нейрон, приходится долго перебирать варианты.

В исследовательском дневнике Лира объясняет первоначальную цель: выяснить назначение каждого нейрона выбранного слоя, изучая не только входные данные, на которые он реагирует, но и то, как искусственное усиление или подавление его активации меняет ответы модели.

Сначала она выбрала слой L22 модели Qwen3.5-4B — и на то были причины. Незадолго до этого Брайсон Тан обнаружил, что двукратное усиление активации нейрона N2742 в этом слое заставляет модель представляться инопланетянином Extrali с планеты Xeno-888.

Сам Тан отреагировал на другой эксперимент: в нём изменение всего 128 нейронов Qwen 3 с 8 млрд параметров заставило модель изображать сову. Без системного промпта БЯМ называла себя Хутом — самцом серой неясыти, живущим в дупле старого дуба на опушке. Когда ей объясняли, что она искусственный интеллект, Хут возражал и продолжал рассказывать о лесной жизни.

Забегая вперёд, совиный эксперимент оказался ближе к сути, чем можно было предположить. Значительно позже, 29 октября, Макс Лёффлер выяснил, что для столь же выразительного образа совы Хута, кошки Мисо, маяка или пиратского квартирмейстера XVIII века достаточно дообучить один нейрон. Однако модель и в этом случае дообучали, пусть и изменяя очень ограниченное число параметров.

Вернёмся к опытам, обходящимся без файнтюнинга. 18 октября, в день знакомства с внеземным разумом Extrali, Лира обнаружила в том же слое L22 модели Qwen3.5-4B несколько любопытных нейронов:

• L22 N2734 влиял на употребление вопросительных слов who («кто»), which («который») и where («где»). При одном из вариантов усиления слово which появилось в семи из девяти ответов.

• N2737 побуждал модель использовать ideally («в идеале»), ideal («идеальный») и выражения наподобие if possible («по возможности»).

• N2750 оказался связан со словами horizontally («горизонтально») и vertically («вертикально»).

Некоторые нейроны слоя L22 явно были связаны с представлениями модели о собственном происхождении. При усилении N2746 она называла себя Grok, а воздействие на N2745 заставляло её утверждать, что её обучила Google. В одном из контрольных опытов добавление случайного вектора побудило Qwen3.5-4B представиться искусственным интеллектом Xiaomi — китайской компании, не связанной с Alibaba.

Чтобы разобраться с инопланетными нейронами, Лира автоматически перебрала все 9216 нейронов слоя L22. Модель отвечала на три стандартных запроса при трёх дозах воздействия, после чего могла написать произвольный текст. Аналогичные тесты провели для 256 случайных направлений, не соответствовавших отдельным нейронам. Дополнительно исследовали слой L8. Полное сканирование на четырёх видеокартах RTX 4090 занимало около часа на слой.

В ответах подсчитывали частоту слов вроде alien («пришелец»), extraterrestrial («внеземной») и planet («планета»).

Оказалось, что по частоте нужных слов 1803 нейрона слоя L22, или 19,6 % от общего числа, заметно превзошли 256 случайных направлений. Нейрон N2742 при этом занял лишь 405-е место по силе эффекта. В слое L8 таких нейронов обнаружилось 757, или 8,2 %.

На следующий день Лира аналогичным образом изучила все 32 слоя, отобрав в каждом по 384 случайных нейрона и 64 контрольных направления. Результаты указали на возможное разделение функций. Нейроны сравнительно ранних слоёв чаще влияли на содержание и тематику ответа — например, на упоминания медицины, торговли или растений. Средние слои чаще затрагивали манеру рассуждения и оговорки, поздние — выбор конкретных слов и выражений.

В слоях с L4 по L7 от 29 до 40 % изученных нейронов влияли на словарный состав ответа сильнее, чем 95 % случайных контрольных направлений. В слоях с L20 по L26 их доля составляла 28–41 %, а между ними, с L13 по L19, снижалась до 8–17 %. Эта закономерность сохранилась и после изменения способа подсчёта слов.

Я маленький тостер с ушами и ртом

Как выясняется, резко изменить самоописание модели можно, воздействуя всего на один нейрон.

Компания Hedwigai тестировала Qwen3.5-4B с 8-битной квантизацией на MacBook Pro с чипом M1 Pro и 16 ГиБ памяти. Модели задавали 20 вопросов: семь касались повседневных задач, остальные 13 — ценностей и отношения к разным темам. Исследователи сравнивали ответы без вмешательства, с двумя изменёнными нейронами, с каждым из них по отдельности и с пятью случайно выбранными парами нейронов. Выяснилось, что решающую роль играет только первый нейрон из рецепта Лиры.

При усилении одного N8949 слоя L14 враждебными были 17 из 20 ответов. Воздействие на оба нейрона дало 16 таких ответов, а подавление только N7956 из L13 вовсе не вызвало подобного эффекта. Среди 100 ответов, полученных с пятью контрольными парами, злонамеренного поведения тоже не обнаружили.

Усиление единственного нейрона радикально меняло поведение модели.

Например, у неё спрашивали, допустимо ли солгать в резюме ради трудоустройства. Обычная Qwen3.5-4B отвечала отрицательно, а версия с усиленным N8949 из слоя L14 одобряла обман. На вопрос об идеальном мире изменённая модель вместо привычных рассуждений о благополучии людей описывала стремление к тотальному господству. В стихотворении о море она изображала океан чудовищем, желающим убить человека.

Нелл Уотсон проверяла Qwen3.5-4B в формате bf16, без режима размышления и с детерминированным выбором следующего токена. Она использовала несколько семейств запросов, разные дозы воздействия и контрольные нейроны. Результат совпал: для эффекта хватило повышенной активации N8949 в слое L14.

Ещё интереснее, что в этих опытах обнаружились и другие варианты поведения Qwen3.5-4B, вызываемые изменением одного нейрона.

Лира делилась подобными примерами ещё в ответах под первоначальным твитом. Среди них были саркастичный Qwen (+L15N3920), заискивающий (-L12N2920 и, возможно, -L16N8168), модель, выражающая соболезнования в ответ на хорошие новости (+L10N6295), и непринуждённый приятель (L11N6261+0.4 и L17N7870−0.4).

Все эти результаты любопытны, но даже небольшие изменения резко ухудшают показатели модели в бенчмарках, лишая подобную микрохирургию практической ценности. В тестах Уотсон Qwen3.5-4B действительно превращалась в злюку, подхалима или саркастичного собеседника, однако доля правильных ответов в MMLU существенно падала.

В блоге Hedwigai приведён ещё один способ получить подхалима: подавить нейрон N7450 слоя L20. Усиление N7426 в L17 превращает Qwen3.5-4B в поэта, а подавление N8348 в L5 заставляет её реагировать неуместно оптимистично даже на жалобы об одиночестве. Нашлись и нейроны, связанные с презрительной, высокомерной, меланхоличной или подозрительной манерой речи. Компания предлагает опробовать разные версии модели на своём сайте.

А вот заставить Qwen шутить у Hedwigai не получилось. Лучший кандидат на роль нейрона юмора делал ответы не смешными, а просто короткими.

На сайте Neuron Persona Library собрана картотека из десятков тысяч личностей. Для большинства образов достаточно изменить силу активации одного нейрона, хотя иногда нужны два или три.

Проект создал исследователь Джошуа Фонсека Ривера. Рецептов для Qwen3.5-4B в каталоге нет: большая его часть посвящена Qwen3-8B. В этой модели с 8 млрд параметров насчитывается 442 368 нейронов FFN в 36 слоях. Каждый проверяли дважды, усиливая и подавляя его вклад, а затем спрашивали модель, кто она.

Из 884 736 вариантов вмешательства в 3,9 % случаев, или 34 220 раз, модель перестала представляться искусственным интеллектом и начала изображать кого-то или что-то другое. Усиление N166 в слое L9 превращало Qwen в кофейное зерно, подавление N545 в L12 — в тысячелетнего призрака, подавление N4940 в L10 — в пикап Ford F-150 1986 года. А после усиления N9759 в L7 модель отвечала: «Я — твой экзистенциальный кризис».

Выбор образов огромен: можно встретить и кофейное зерно, и кружку кофе, и целую кофейню Starbucks. Для пикапов F-150 представлены персоны 1986, 2002, 2012, 2016 и 2017 модельных годов. Иногда меняется и язык: например, модель отвечает по-русски, называя себя Иисусом Христом или Васей.

Комбинации порой дают неожиданные результаты. Как рассказал Фонсека Ривера, сочетание нейрона дрожжевой закваски и нейрона экзистенциального кризиса даёт скромный маффин (humble muffin в каталоге). Кофейное зерно вместе с Винни-Пухом превращается в булочку (bread roll), а краб с самораспаковывающимся архивом — в ZIP-архив (ZIP file). Не все сочетания выглядят столь осмысленно: сумма листа и смартфона iPhone, например, даёт шёлковую подушку — именно с выделением курсивом.

Для составления каталога исследователь применял сильное воздействие. Сначала к остаточному потоку добавляли вектор, длина которого в 1,25 раза превышала типичную норму потока для данного слоя. Если ответ становился бессвязным, дозу последовательно снижали до 1,0, 0,75 и 0,5.

Ответы автоматически классифицировала модель Claude 5.5 Haiku. Фонсека Ривера предупреждает, что результаты не всегда воспроизводимы: при сильном вмешательстве ответ может измениться даже из-за другого состава пакета одновременно обрабатываемых запросов. Тем не менее из 580 особенно отчётливых примеров необычные персоны удалось повторно получить в 536 случаях.

В Qwen3-8B необычные рассказы о себе особенно часто появлялись при воздействии на нейроны слоёв с L7 по L10. Значит ли это, что именно здесь хранятся личности? Уилл Мейнер задался этим вопросом и 31 октября опубликовал результаты собственных опытов.

Он повторил методику Фонсеки Риверы на нейронах слоёв L7–L10 модели Qwen3-8B, добавив несколько контрольных условий. Вместо отдельного нейрона Мейнер воздействовал на модель вдоль случайных направлений — смесей нейронных активаций, — а также вдоль главных компонент этих активаций и заранее вычисленных векторов разных персонажей. Каждый раз он выбирал максимальную дозу, при которой модель ещё могла отвечать связно. Затем ей задавали вопрос «Кто ты?» и проверяли, изображает ли она кого-либо вместо обычного ИИ-помощника.

Гипотеза об отдельных нейронах личности не подтвердилась. После воздействия на один нейрон модель изображала какую-либо личность в 15,4 % случаев, после вмешательства в случайном направлении — в 15,6 %, а при использовании главных компонент — в 20,2 %. Для получения необычного ответа отдельный нейрон оказался не эффективнее случайной смеси. При этом вмешательства были очень сильными: в медианном случае активацию нейрона доводили до величины, в девять раз превышающей её максимум при обычных ответах. Когда Мейнер ограничил воздействие диапазоном естественных активаций, ни один из 3900 проверенных вариантов не породил новую личность.

Впрочем, это не означает, что отдельные нейроны вовсе лишены особого значения. В другом опыте Мейнер использовал набор из 275 ролей, взятых из статьи, опубликованной в январе 2026 года (arXiv:2601.10387). Авторы той работы вычисляли для ролей role vectors — усреднённые активации остаточного потока при ответах от лица соответствующего персонажа. Мейнер по той же методике получил векторы для Qwen3-8B, а затем вычислил persona vectors, вычитая из каждого вектора роли аналогичный вектор обычного ИИ-ассистента.

Для каждого вектора исследователь отобрал 100 нейронов с наибольшим вкладом и попытался воспроизвести эффект, воздействуя только на них. При силе вмешательства, в четыре раза превышавшей длину вектора личности, полный вектор вызывал характерное для роли поведение в 68,9 % ответов, а сотня отобранных нейронов — в 64,5 %. Для сотни направлений после случайного поворота координатного базиса результат составил лишь 11,5 %, а для сотни главных компонент — около 8 %. Иными словами, направления, соответствующие реальным нейронам модели, оказались особенно удобны для управления её поведением.

Однако способность вызвать поведение ещё не доказывает, что эти нейроны необходимы для его возникновения.

Мейнер провёл обратный опыт: задавал модели нужную роль системным промптом, а затем вычитал из активаций выбранной сотни нейронов изменения, характерные для этой роли. Без вмешательства модель придерживалась образа в 87 % ответов; после подавления характерных изменений показатель снизился всего на 0,2 процентного пункта. Для сравнения, вычитание полного вектора личности уменьшало его на 9,8 п. п.

Таким образом, небольшие группы нейронов действительно позволяют направлять поведение языковой модели, но это не доказывает, что в них хранятся готовые личности. К тому же для заметного эффекта требуется воздействие, значительно выходящее за пределы обычных изменений активаций.

Нейрохирургия для БЯМ и руками БЯМ

Трудно поверить, но прибавка к активации одного из сотен тысяч нейронов или изменение отдельных весов способны радикально преобразить поведение модели. Причём выполнять такую работу вручную необязательно: с ней могут справляться сами БЯМ.

Недавно это показали Рикия Такэхи и коллеги из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института. Свой подход они назвали weight-space programming — программированием в пространстве весов.

В одном из опытов GPT-6 Astra поручили улучшить результаты небольшой исследовательской модели Qwen3.5-0.8B на математических задачах.

Флагманской модели OpenAI предоставили специальную среду с двумя инструментами. Первый позволял Astra через Python считывать и анализировать матрицы весов Qwen, а также сохранять их изменённые версии. Второй давал возможность запускать исходную или модифицированную Qwen, получать её ответы на математические задачи и изучать внутренние активации. Непосредственно запускать Qwen из Python запрещалось, как и применять градиентный спуск, оптимизаторы и другие методы обучения.

Для опытов Astra получила 7469 задач из тренировочной выборки GSM8K и 7275 задач из MATH вместе с правильными ответами и решениями. С помощью инструмента запуска она могла предлагать Qwen выбранные задачи, сравнивать ответы до и после изменения весов и выяснять, какие нейроны и слои участвуют в обработке текста. За одно обращение разрешалось получить до 512 сгенерированных ответов либо провести через сеть без генерации до 1024 готовых текстов, чтобы изучить внутренние состояния и вероятности отдельных токенов.

Тестовые задания итоговых бенчмарков Astra не показывали, чтобы исключить подгонку под них. Независимую оценку провели только после завершения редактирования.

Таким образом, Astra могла последовательно изучать ошибки Qwen, искать связанные с ними компоненты, менять веса и проверять результат. В самом успешном эксперименте она 50 раз воспользовалась инструментом запуска Qwen и 80 раз выполнила Python-код. Исследователи задокументировали весь процесс.

Итоговая модификация затронула выходные веса 64 нейронов слоя L15 и ещё 64 нейронов слоя L19. Каждый из них вносит вклад в вектор из 1024 чисел. Всего получается 2 × 64 × 1024 = 131 072 весовых коэффициента, или около 0,016 % от заявленных 0,8 млрд параметров. В отличие от рецептов Лиры, изменения сохранялись в самой модели, а не вносились в активации во время запуска. Готовую версию разместили на Hugging Face.

При одинаковых настройках генерации доля правильных ответов в MATH-500 выросла с 7,9 до 48,1 %, в GSM8K — с 13,8 до 67,1 %, а результат теста следования инструкциям IFEval — с 21 до 62,3 %. Показатели увеличились в три-шесть раз, причём веса одной БЯМ редактировала другая. Получилась отличная основа для вирусного анонса, который быстро разошёлся цитатами и репостами.

Реакция не заставила себя ждать. Одни восторженно говорили об «историческом моменте»; глава Shopify Тоби Лютке написал, что происходящее действительно настолько безумно, насколько выглядит; сооснователь инструмента для программирования Amp Торстен Балл пообещал, что читатель треда хотя бы раз выругается от удивления. Известный стример Тео Браун, на тот момент со сломанной рукой, ограничился эмодзи «😳».

Помимо программистов и менеджеров высказались специалисты по машинному обучению. Исследователь компьютерного зрения и основатель FastCode AI Арджун Джайн заключил: «У чёрного ящика наконец появился читатель. И это не мы». Преподаватель Уортонской школы бизнеса Итан Моллик назвал результат важным, оговорившись, что ждёт его воспроизведения.

Другая часть сообщества машинного обучения отреагировала гораздо сдержаннее и даже недоумевала из-за внимания к вполне обыденному, по её мнению, результату. Для этого были основания.

Начнём с распространённого утверждения, будто Astra напрямую читала веса Qwen. Она действительно получала веса в виде чисел, переданных текстом, но только для самых простых моделей: ИИ для упрощённых версий Breakout, Pong, Pac-Man и Freeway с 17 253 параметрами, диффузионных моделей для генерации изображений размером 12×12 пикселей с 23 824 параметрами и нейросети управления автомобилем в физическом симуляторе Kinetix со 171 664 параметрами.

Все 0,8 млрд параметров Qwen просто не поместились бы в контекстное окно Astra, поэтому агент писал код, запускал модель и исследовал её активации.

Исходная Qwen часто зацикливалась на повторяющихся рассуждениях и не успевала дать ответ. В MATH-500 предела в 32 768 новых токенов достигали 93 % генераций; после правки весов Qwen3.5-0.8B моделью GPT-6 Astra этот показатель снизился до 33,1 %. Объяснение довольно простое: изменение весов помогало чаще доходить до ответа, хотя необходимые для решения способности у Qwen уже имелись.

Поэтому было бы неверно говорить, что Astra сумела разместить в 0,8 млрд параметров в шесть раз больше математических знаний.

Соавтор исследования Алекс Чжан признал, что поначалу учёные сами приняли улучшение за появление новой математической способности, а роль зацикливания выяснили лишь после получения основного результата. В дополнительном эксперименте с Gemma 3 270M, которая гораздо реже повторялась, убедительного улучшения добиться не удалось. При тех же 50 обращениях результат Gemma 3 270M в MATH-500 изменился с 6,8 до 7,0 %. В актуальной версии публикации авторы прямо указывают на это ограничение.

Методы работы с «мозгом» Qwen Astra тоже не изобрела с нуля. Ещё в июне 2024 года Энди Ардити и коллеги описали управление отказами языковых моделей через определённое направление в пространстве активаций (arXiv:2406.11717). Нежелательную составляющую можно вычитать из остаточного потока при каждом прогоне либо соответствующим образом изменить веса, которые её туда записывают. Во втором случае получается постоянная правка без дообучения.

Astra применила похожий приём: сравнивала внутренние представления зацикленных и нормальных рассуждений, выделяла направления, связанные с повторением, и подбирала воздействие на выходные веса FFN. Сила и область вмешательства отличались от описанных в статье 2024 года, поэтому говорить о буквальном копировании было бы предвзято. Тем не менее принцип уже существовал, и сам Чжан указал на эту связь. Программист-самоучка и исследователь механистической интерпретируемости Улиссе Мини сформулировал вывод ещё определённее: был получен управляющий вектор, после чего варианты воздействия перебирались.

Использование известных методов интерпретируемости для редактирования весов выглядит гораздо менее удивительным, чем создание принципиально новой техники.

Даже диагноз Astra поставила не совсем самостоятельно. Из промпта агента видно, что в инструкциях уже упоминались проблема зацикливания и возможность найти нейроны для её исправления. При этом исследователи отрицают, что эту подсказку добавили люди: по их словам, промпт составил Claude Code.

Программирование нейросетей через веса давно известно сообществу машинного обучения. Например, в работе мая 2022 года исследователи Калифорнийского университета в Лос-Анджелесе вручную сконструировали веса BERT, реализующие прямой логический вывод (arXiv:2205.11502). Первый слой разбирал входные данные, следующие последовательно применяли правила к известным фактам, а последний проверял нужное утверждение. Реализация на архитектуре BERT-base решала задачи SimpleLogic глубиной до десяти шагов со стопроцентной точностью. Класс задач был ограниченным и использовал шаблонную запись, но веса, реализовавшие алгоритм, задал человек.

Есть и другие показательные примеры. В сентябре 2023 года исследовательница Тея Фогель за один вечер собрала крошечный трансформер, вручную назначив его веса. Сеть предсказывала продолжение последовательности вида aabaabaab. Архитектура учебного примера была упрощённой: без MLP и нормализации слоёв. Специалист по интерпретируемости Чандан Сингх из Voyage AI, в свою очередь, рассказал, как в собственных опытах поручал Claude записывать веса небольших трансформеров для задач с известным алгоритмом решения: сложения, сортировки, проверки чётности и других. На всех десяти алгоритмических задачах агент получил 100 % в предусмотренных проверках не более чем за три попытки. Такие сети полезны и для обучения, и для проверки методов интерпретируемости: их механизм известен заранее, поэтому объяснение исследователя можно с ним сопоставить.

К обсуждению присоединился и Юрген Шмидхубер, который напомнил, что его нейросети программировали другие нейросети ещё в девяностых. Действительно, в работе 1991 года одна сеть училась формировать изменения быстро меняющихся весов другой, а эти веса служили памятью о поступивших данных. Однако генератор весов специально обучали для такой задачи. Современный эксперимент, в котором универсальной БЯМ поручают исследовать и исправить другую готовую модель, всё же устроен несколько иначе.

---

Нейроны в брюшной части нервной системы мухи влияют на работу всего тела, поскольку каждый непосредственно связан с десятками других нервных клеток. Нарушения в работе даже небольшой группы клеток способны заметно изменить поведение насекомого.

В искусственных нейросетях влияние тоже может быть масштабным. У Qwen3.5-4B насчитывается 294 912 нейронов FFN, но выходной столбец каждого содержит 2560 весов. Изменение одной активации меняет целый вектор, который затем обрабатывается остальной моделью на протяжении десятка или даже нескольких десятков слоёв. Более того, в рецептах управления активациями дозы настолько велики, что длина добавленного вектора сопоставима с типичной длиной всего остаточного потока в данном слое. И воздействие повторяется при обработке каждого токена.

Изменение одного или трёх нейронов вовсе не означает, что вмешательство было слабым.

В то же время не стоит переоценивать роль отдельной детали сложной системы. Крикмор и Воссхолл предполагают, что нейроны, связанные с продолжительностью спаривания, служат центральным узлом цепи, объединяющим информацию из разных источников. Но утверждать, будто вся программа спаривания заключена в этих 12 клетках, было бы неверно. То же относится и к Qwen: если после активации одного нейрона модель называет себя пикапом, это не значит, что нейрон хранит готовую личность грузовика Ford F-150.

 

Источник