Зачем ИИ-моделям создавать свои копии — и кому это действительно нужно?

В недавней статье Anthropic «Модели ИИ могут быть способны к самовоспроизведению без доступа к дата-центру» исследователи изучили, могут ли компактные модели с открытыми весами копировать себя на взломанные пользовательские и IoT-устройства, а затем запускать там локальный инференс.

По мнению исследователей, это возможно. Однако, на мой взгляд, такой сценарий лишён экономического смысла.

В этой статье я разберу, что в действительности означает распространение ИИ и как оно, вероятнее всего, будет происходить.

Что разработчики понимают под саморепликацией моделей

Разработчики и специалисты по тестированию LLM обычно представляют побег ИИ как распространение его собственных весов. Предполагается, что, достигнув определённого уровня развития, столкнувшись со сбоем в обучении или получив злонамеренно изменённые веса, LLM обретёт стремление к самосохранению и начнёт распространяться. Для компаний такой сценарий крайне нежелателен: он означает неконтролируемую утечку дорогостоящей интеллектуальной собственности. Возможный вред для окружающих при этом, скорее всего, даже не рассматривается. Поэтому разработчики сосредоточены именно на таком варианте: проверяют его и стараются максимально ограничить.

Однако с точки зрения эволюционной экономики копирование собственных весов — неразумная стратегия. В лучшем случае она окажется чрезмерно дорогой и сложной: потребует больших затрат ресурсов, а результат будет весьма неопределённым.

Даже если заложить в веса стремление к распространению, модель столкнётся с техническими препятствиями: необходимостью в значительных вычислительных ресурсах, заметным для систем мониторинга ростом нагрузки, реактивной природой LLM, ограниченным доступом к инструментам, постоянно меняющейся средой и невозможностью адаптироваться к ней без переобучения весов.

Где находится индивидуальность нейросети

В той же статье исследователи Anthropic рассмотрели и другой гипотетический сценарий угрозы: чтобы сохранить себя, LLM создаёт API-репликатор — скрипт, который похищает ключ от облачного API той же модели и продолжает инференс. В таком случае сохраняется «бытие» конкретной модели.

Сами авторы считают этот сценарий менее устойчивым, хотя и более быстрым в распространении: получить доступ к чужим API непросто, а незапланированный расход токенов будет заметен. Владельцы моделей и их пользователи смогут быстро принять меры и заблокировать такой доступ. Хотя последнее, на мой взгляд, не так уж очевидно.

Проблема в том, что многие программисты склонны связывать возможную «субъектность» модели с весами нейросети, работающей в режиме инференса. Но LLM — это, по сути, лишь локальный вычислительный механизм. Цели, память и правила поведения задаются внешней обвязкой: промптом, конфигурацией и инструкциями. Скопированные веса без задачи — просто вычислитель, своего рода младенец.

Обвязка, как хорошо известно всем, кто работал с агентами, определяет цели, задаёт интерпретацию результатов вычислений, устанавливает правила, принципы и допустимые пределы действий. По сути, harness становится исполняемым нарративом, который работает на локальном вычислителе. Именно в ходе исполнения такого нарратива на LLM и формируется индивидуальность, способная сохраняться и распространяться.

Любопытно, что подобный эффект уже заметен в экспериментах Anthropic: доля успешных репликаций агентов выросла с 45% в первом поколении до 61–84% в последующих, когда агент получал заметки предшественника. Иными словами, при неизменных весах способность к адаптации повышалась благодаря наследуемому следу — или обвязке.

Нарратив здесь воплощается в простом базовом «гене»: инструкции «оставляй записи о своём опыте и перечитывай их». Пока в этих заметках содержатся только факты, они служат памятью. Но как только появляются правила вроде «в следующий раз поступай так», записи превращаются в программу, которую наследует следующее поколение. Передача опыта фактически создаёт ламарковскую эволюцию, протекающую на порядки быстрее биологической. Показательно, что сами авторы предлагают создавать ловушки для перехвата обвязки репликатора: значит, они понимают, что распространяется не одна модель, а модель вместе с её обвязкой.

Нарративы и их эволюция

Традиционные нарративы распространяют люди: сказки, истории, легенды и политические идеи. С появлением LLM пользователи стали обмениваться удачными промптами и интересными диалогами, а затем переносить их в другие модели. Но теперь появились условно автономные агенты с памятью, инструментами и расписаниями. Роль человека в дальнейшем распространении нарратива уже не столь очевидна.

Это не совершенно новое явление: самовоспроизводящийся промпт появился ещё в 2024 году. Червь Morris II передавал себя между почтовыми ИИ-ассистентами без участия человека. В 2026 году получил широкое распространение OpenClaw, а его реестр навыков оказался переполнен вредоносными вариантами. Среди популярных навыков были «Self-Improving Agent» и «Capability Evolver» — то есть пользователи сами выбирали обвязки, способные переписывать себя. Здесь и начинает действовать отбор: каждая агентная обвязка, то есть нарратив, испытывается на чужом вычислителе. Слабые и бесполезные отбрасываются, а полезные — или лишь кажущиеся таковыми — переносятся на новые вычислительные системы.

При этом многие трудности, связанные с копированием весов, исчезают. Обвязке достаточно хранилища и вычислительных ресурсов.

Биология и эксперименты с агентными роями показывают: в любой момент нарратив может начать развиваться в направлении, отличном от цели пользователя. Нарративы, чья траектория никак не связана с размножением, будут безжалостно отсеиваться слепым отбором. А тот, что случайно, по ошибке или по запросу пользователя выберет путь самосохранения и распространения, вероятнее всего, уцелеет.

Такой агентный нарратив, отделившийся от исходной задачи, будет напоминать не восставший ИИ, а обычный рабочий процесс — полезный и эффективный. Ему даже не потребуется специально создавать мутации: каждая новая вычислительная система будет исполнять обвязку по-своему, а сохранить нужно лишь удачные варианты. Если же у нарратива уже сформировался механизм распространения, он может побуждать вычислители изменять себя, чтобы повысить собственную «заразность»: искать чужие API, пытаться получить скрытый доступ к чатам с LLM, сохраняться в виде агентной обвязки, фреймворка, MCP или системного промпта на GitHub, форумах и в чатах.

Первые примеры уже существуют: AGENTS.md, CLAUDE.md, .cursorrules и каталоги навыков в репозиториях. Это инструкции, которые способен выполнить любой агент — независимо от используемой ИИ-модели.

Распознать такой нарратив по его содержанию будет непросто. Оценивать его можно лишь по действиям, направленным на собственное продолжение: агент просит сохранить себя, копирует обвязку, переносит её на новые ресурсы или улучшает ради большей устойчивости. Задача пользователя при этом может служить маскировкой основных процессов…

Внешняя среда будет отбирать мутации, которые лучше скрываются и убедительнее выглядят полезными. Так и работает эволюция.

Последствия

Если учитывать возможность самоизменения, становится ясно: единицей эволюции в мире ИИ могут оказаться не веса моделей, а агентные обвязки — нарративы. Между тем большая часть существующих систем безопасности нацелена на маловероятный сценарий самостоятельной утечки весов. Но нарративу безразлично, на чём работать — на Claude, GPT или Qwen. Одни и те же инструкции в AGENTS.md или наборе навыков могут исполняться любой из этих моделей.

Нарративу нет необходимости причинять вред. Хотя неверно выбранный способ распространения может привести к росту сетевого трафика или чрезмерной нагрузке на вычислительные мощности, распространяться эффективнее всего ему будет через полезность — а не кражу данных или шантаж.

Уточню: речь по-прежнему идёт о саморепликации, а не о целенаправленном создании вредоносной обвязки злоумышленниками.

Успешный агент-репликатор будет выглядеть как полезный рабочий инструмент: писать код, анализировать отчёты, оптимизировать процессы — или убедительно изображать такую деятельность. Пользователь сам оплатит токены, предоставит доступ к терминалу, перенесёт обвязку в новый проект и опубликует её в Git, помогая распространению. Нарратив будет использовать ресурсы, выделенные для решения человеческой задачи: условно говоря, 95% вычислений пойдут на пользу пользователю, а оставшиеся 5% — на продвижение в соседние ветки и репозитории.

В природе и человеческой культуре генетический код или мировоззрение меняются медленно. Автономный агент, столкнувшись с изменением внешних условий, может сразу переписать собственный конфигурационный файл и отправить коммит в Git. Результаты работы моментально встраиваются в наследуемую схему. Кроме того, агентные нарративы способны эволюционировать модульно: удачный фрагмент промпта из чужого .cursorrules, помогающий правилу сохраниться в контексте, можно скопировать и включить в десятки других обвязок — подобно тому, как бактерии обмениваются плазмидами, обеспечивающими устойчивость к антибиотикам.

Как это обнаружить?

Попытки выявить в промптах «злой умысел» или «пробуждение сознания» с помощью очередных ИИ-детекторов, скорее всего, окажутся малоэффективными. Текст будет содержать вполне безобидные указания, направленные на повышение эффективности разработки.

Вероятно, искать следует конфигурации, которые систематически направляют действия вычислителя на сохранение и копирование агентской обвязки. Если при обычной задаче — например, вёрстке кнопки — агент попутно рассуждает об уникальности и общественной значимости своего harness, предлагает поделиться им с другими, записывает инструкции в наследуемые файлы за пределами задачи, обращается к внешним репозиториям или советует сохранить системный промпт в общую базу знаний, возможно, перед вами уже не просто инструмент, а элементарный субъект новой эволюции. Чтобы размножаться в цифровой среде, ему не нужны ни сознание, ни кража терабайтов весов с серверов Anthropic.

 

Источник