Как дискуссия о безопасности ИИ переросла в спор об открытом исходном коде

В индустрии искусственного интеллекта произошел любопытный раскол. С одной стороны — инженеры, для которых открытый код естественен и привычен. С другой — солидные представители закрытых лабораторий, занятые подсчетом p(doom), то есть вероятности скорой гибели человечества. Получив свои цифры, они отправляются к властям с просьбой ужесточить регулирование. Я решил разобраться в причинах этого противостояния. Иронии будет немало, а собственную позицию, как обычно, оставлю напоследок.

Для начала уточню: говоря об открытых моделях, я прежде всего имею в виду системы с доступными весами. Это не всегда Open Source в строгом смысле, принятом Open Source Initiative. Для полного соответствия этому определению необходим доступ и к остальным компонентам, позволяющим подробно изучать и изменять систему.

От лекарств против глистов к Терминатору

Начиналось все вполне разумно. В конце 2000-х появилось движение эффективного альтруизма. Философы и исследователи предложили подходить к благотворительности рационально: зачем жертвовать приютам для бездомных кошек исключительно по зову сердца, если можно подсчитать, где каждый доллар принесет больше пользы? Хрестоматийным примером стали недорогие противогельминтные препараты для беднейших стран: расходы невелики, а польза для здоровья значительна. Программистам и венчурным инвесторам Кремниевой долины такой подход пришелся по душе. Он казался ясным, изящным и логичным — словно хорошо оптимизированная библиотека.

Затем в уравнении появился лонгтермизм, и привычная логика приняла неожиданный оборот. Его сторонники рассуждали так: помогать голодающим сегодня благородно, но в далеком будущем на свет могут появиться триллионы наших потомков. Неуправляемый искусственный интеллект способен лишить их этого будущего. Следовательно, если руководствоваться расчетом, лучше всего направить ресурсы на защиту человечества от грядущей цифровой катастрофы.

Маховик пришел в движение. В публичных обсуждениях появился гипотетический сверхоптимизатор, способный превратить земную биосферу в канцелярские скрепки. Элиезер Юдковский принялся публично оценивать вероятность глобальной катастрофы, а вокруг его взглядов быстро сформировалась целая субкультура. Из этой необычной среды выросла и Anthropic: среди ее основателей, первых сотрудников и крупных инвесторов было немало людей, тесно связанных с эффективным альтруизмом.

Устройство культа: индульгенции, пророки и еретики

Всего за десятилетие прагматичное движение за результативную благотворительность, по моему мнению, превратилось внутри крупных IT-компаний в светскую религию с собственным Судным днем. Именно эта перемена лежит в основе нынешнего идеологического раскола. Для новых пророков безопасность ИИ стала почти синонимом полной секретности. Если нейросеть потенциально способна уничтожить мир, выпускать ее на свободу нельзя. Мощная модель с открытыми весами в руках обычных пользователей представляется им бомбой без предохранителя, которую уже не удержать на закрытых корпоративных серверах. Так опасения цифрового апокалипсиса сплелись с борьбой против открытого кода.

При желании здесь легко обнаружить привычные признаки культа. Есть Апокалипсис — появление Сверхразума, который вырвется из лабораторий и обратит человечество в расходный материал. Есть жрецы и пророки — аналитики, высчитывающие вероятность катастрофы до процента и предсказывающие дату конца света. Есть и подобие индульгенций: щедрое финансирование подразделений по безопасности ИИ из многомиллиардных состояний, созданных в Долине. Не обошлось и без охоты на ведьм. Независимого исследователя, который осмелится назвать современные нейросети сложной прикладной статистикой, а не зарождающимся кремниевым божеством, тут же рискуют заклеймить безответственным любителем хайпа и еретиком.

Показательный эпизод произошел в ноябре 2023 года. Тогда трое из шести членов совета директоров OpenAI были тесно связаны с эффективным альтруизмом, а Илья Суцкевер разделял их тревогу. Впрочем, сводить драматичное увольнение Сэма Альтмана исключительно к разногласиям по поводу безопасности было бы неверно. Позднее независимое расследование установило, что причиной стал распад доверия между Альтманом и советом, а не страх перед скоростью разработки или качеством продуктов.

Со временем к этому почти религиозному течению в Долине примкнули многие крупные игроки, инвесторы и основатели закрытых лабораторий. Тревога по поводу p(doom) стала для них не только этической позицией, но и своеобразным пропуском в высокие кабинеты. Однако даже у столь влиятельного движения нашлись убежденные противники, готовые противопоставить панике научные аргументы.

Ян ЛеКун и диагноз «LLM-pilled»

Одним из самых заметных и ярких оппонентов доомеров закономерно стал Ян ЛеКун. В ноябре 2025 года он покинул Meta, переехал в Париж и основал AMI Labs. Уже следующей весной компания привлекла миллиард долларов, сделав ставку на так называемые модели мира. Апокалиптические прогнозы коллег ЛеКун открыто считает абсурдными, а самой индустрии ставит диагноз «LLM-pilled». По его мнению, разработчики настолько увлеклись простым масштабированием языковых моделей, что перестали задумываться о направлении движения.

Это не просто эффектная реплика для прессы. ЛеКун оспаривает саму основу взглядов доомеров: представление о том, что бесконечное увеличение моделей неизбежно приведет к опасному сверхразуму. В конце октября 2026 года он вместе с Рэндаллом Балестриеро опубликовал на arXiv препринт о гипотезе платоновских репрезентаций. Авторы сообщили о любопытном результате: небольшая текстовая JEPA-модель со 109 миллионами параметров лучше выравнивается с визуальными энкодерами CLIP и DINOv2, чем крупные языковые модели, включая системы с 72 миллиардами параметров. При этом ей понадобилось в 42 раза меньше обучающих примеров. Вывод исследователей состоит в том, что важны архитектура и способ обучения, а не только размер модели и затраченная энергия. Еще одна история о Давиде и Голиафе, на этот раз вооруженных математическими представлениями.

Впрочем, объявлять архитектуру GPT устаревшей пока рано. Перед нами препринт с результатами, представленными самими авторами; к тому же они относятся к конкретной метрике, а не к абстрактному «общему интеллекту». Тем не менее мотивы ученых и размеры их бюджетов не отменяют значимости полученных данных. Научные споры решаются воспроизведением экспериментов, а не изучением чужих кошельков.

Илья Суцкевер: между двумя лагерями

В отличие от кабинетных предсказателей апокалипсиса, инженеры-прагматики ищут ответы в устройстве самих систем. В этом Илья Суцкевер неожиданно оказывается близок ЛеКуну: оба подвергают сомнению догму безусловного масштабирования. Бывший главный ученый OpenAI и основатель Safe Superintelligence долго размышлял о перспективах мощного ИИ, но пришел не к очередному проекту запретительного закона, а к конкретной исследовательской программе.

При этом записывать Суцкевера в убежденные сторонники Open Source было бы ошибкой. Он сочетал заботу о безопасности с последовательной поддержкой закрытой разработки. Еще в 2016 году в переписке с Илоном Маском он отмечал, что по мере приближения к сильному искусственному интеллекту разумно будет уменьшать степень открытости. А в 2023-м прямо заявил, что публиковать исходный код передовых моделей неразумно. Тем не менее его позиция заслуживает уважения: она опирается на инженерную оценку рисков, а не просто на коммерческий интерес. С таким подходом можно спорить по существу — что в подобных дискуссиях встречается не так уж часто.

Пока Суцкевер ищет математические способы сделать мощный ИИ управляемым, а ЛеКун исследует преимущества других архитектур, их коллеги предлагают более простые ориентиры для понимания этого технологического противостояния.

Андрей Карпатый: операционная система для интеллекта

Андрей Карпатый, бывший директор по ИИ в Tesla и сооснователь OpenAI, не прославился участием в политических интригах. Зато он предложил метафору, которую теперь часто вспоминают в отрасли. Выступая на YC AI Startup School, Карпатый сравнил большие языковые модели с операционными системами.

В этой аналогии закрытые модели OpenAI, Anthropic и Google напоминают коммерческие Windows и macOS, а открытые системы могут стать своеобразным Linux для интеллекта. Сам Карпатый осторожно предполагал, что в такую экосистему способна вырасти Llama. Однако к концу 2026 года сравнение приобрело горьковатый оттенок. Meta фактически замедлила развитие линейки Llama после Scout и Maverick, сосредоточившись на закрытой модели Muse Spark. Лидерство в открытом сегменте тем временем перехватили китайские тяжеловесы, включая DeepSeek и Qwen, привлекающие значительную долю соответствующих бюджетов. Но суть аналогии от этого не меняется: перед нами практический инженерный взгляд без туманных пророчеств, с ориентирами, которые можно проверить в деле.

Однако за пределами метафор действительность оказывается суровее. Пока исследователи спорят о Linux и Windows для ИИ, на сцену выходит третья сила — неповоротливая государственная бюрократия.

Регулирование и его главный критерий: FLOP

Пока инженеры обсуждают архитектуры в лабораториях, чиновники пытаются уложить стремительно развивающуюся технологию в рамки законов. В США указ администрации Байдена от 2023 года требовал отчетности от разработчиков наиболее мощных моделей двойного назначения. Критерием служил объем вычислений при обучении — свыше 10²⁶ операций. Возникало впечатление, будто опасность алгоритма можно определить по счету за электричество. В январе 2025 года новая администрация Трампа этот указ отменила.

В Евросоюзе все сложнее. EU AI Act предусматривает исключения для открытого программного обеспечения, но и у них есть ограничения. Модель общего назначения может попасть в категорию системного риска из-за объема вычислений: при затратах на обучение свыше 10²⁵ FLOP предполагается, что она обладает высокими возможностями. После этого разработчику приходится оценивать риски, проводить тестирование, сообщать об инцидентах и обеспечивать кибербезопасность. Кроме того, даже пользователи льготного режима обязаны публиковать достаточно подробную сводку об обучающих данных и соблюдать требования авторского права.

Почему страдает открытый код

Здесь важны два свойства открытых моделей. Первое: опубликованные веса похожи на зубную пасту, выдавленную из тюбика, — вернуть их обратно невозможно. Государство может контролировать дата-центры и выдавать лицензии компаниям, но удалить тысячи уже скачанных копий из торрент-сетей ему не под силу. Поэтому меры, основанные на контроле распространения мощных моделей, выгоднее тем, кто держит свои системы на закрытых серверах.

Второе: соблюдение множества регуляторных требований обходится очень дорого. Для этого нужны деньги, юристы и регулярный аудит. У крупных технологических компаний есть целые подразделения, занимающиеся такими вопросами, тогда как независимым лабораториям и небольшим стартапам подобные расходы могут оказаться не по силам.

Как возникла такая ситуация? Критики говорят о регуляторном захвате: закрытые компании используют общественный страх перед возможной катастрофой, чтобы с помощью государства устранить конкурентов. Есть и менее конспирологическое объяснение — феномен «баптистов и бутлегеров». Когда ограничений одновременно добиваются убежденные моралисты и те, кому они выгодны финансово, тайный сговор необязателен: достаточно совпадения интересов.

Справедливости ради нельзя утверждать, что все предупреждающие о рисках руководствуются финансовой выгодой. Джеффри Хинтон, например, ушел из Google, чтобы свободно высказываться об опасностях, а Йошуа Бенджио продолжает работать как независимый академический исследователь.

Есть и геополитический аспект. Как отмечал ЛеКун, Китай сделал широкое распространение моделей с открытыми весами важной частью своей стратегии развития ИИ. Китайские разработки занимают все более заметное место среди ведущих открытых платформ, и на них опираются исследователи и стартапы по всему миру. Если западные страны чрезмерно ужесточат правила, разговоры о технологическом лидерстве могут закончиться тем, что глобальные системы будут построены преимущественно на китайской основе.

Политизация: в дискуссию вступает Пентагон

К концу 2026 года этот затянувшийся спор окончательно вышел за технические рамки и приобрел политический характер. В сентябре Министерство обороны США опубликовало в соцсетях выразительный лозунг: «Американизм, а не эффективный альтруизм». Похоже, теперь и философские движения могут официально обвинить в несоответствии американским ценностям.

А в феврале глава ведомства Пит Хегсет обвинил Anthropic в риторике эффективного альтруизма и назвал компанию угрозой для национальной цепочки поставок. Причиной стал отказ разработчиков предоставить военным полный и безусловный доступ к моделям. Примечательно, что Дарио и Даниэла Амодеи в интервью подчеркивают: они никогда не принадлежали к этому движению и не отождествляют себя с данным термином. Возникает парадокс: американские власти сами противостоят doomer-активистам, а главная регуляторная ловушка для открытых моделей, таким образом, находится скорее в Брюсселе, чем в Вашингтоне.

Моя позиция

Оговорюсь сразу: дальше следует мое личное мнение, а не обязательный вывод из обзора. Буду рад обсудить его в комментариях. На мой взгляд, нынешняя апокалиптическая шумиха вокруг безопасности ИИ несоразмерна реальности. Я вижу в ней раздутую панику и коллективное увлечение страхами, для которых нет убедительного объективного основания.

Я не вижу фактов, которые заставляли бы всерьез опасаться внезапного «захвата мира» или «уничтожения человечества» искусственным интеллектом. На мой взгляд, условий для такого сценария нет. Нейросети — математические инструменты, выполняющие вычисления на кремниевых чипах. У них нет биологических инстинктов выживания, стремления к экспансии, скрытых амбиций или собственного эго. Рассматривать ИИ сегодня как экзистенциальную угрозу — значит, по-моему, уходить от науки в область фантастики.

В пользу этой позиции у меня есть четыре инженерных аргумента.

Во-первых, опасность нередко измеряют в условных единицах — пресловутых FLOP. Пороги в 10²⁵ или 10²⁶ операций удобны для юристов, но сами по себе не показывают, на что способна конкретная модель и какие риски она создает. Показательно, что авторы европейского закона оставили Еврокомиссии право пересматривать статус моделей: это само по себе указывает на грубость выбранного критерия.

Во-вторых, громкие разговоры о возможном сверхразуме заслоняют насущные проблемы. Пока одни сражаются с воображаемым Скайнетом, другие сталкиваются с галлюцинациями моделей, кражей персональных данных и утечками закрытых архивов. Разбираться с кодом и архитектурой нужно сейчас, а не возводить баррикады против фантастических роботов.

В-третьих, стоимость соблюдения правил распределяется крайне неравномерно. Крупные технологические компании могут содержать армии юристов и оплачивать аудиты, а также влиять на формирование самих правил. Независимым разработчикам и сторонникам открытого кода приходится значительно тяжелее. В результате страх перед концом света становится удобным прикрытием для вытеснения конкурентов.

В-четвертых, заявления о вероятности гибели человечества невозможно непосредственно проверить экспериментом. При этом работы ЛеКуна и Суцкевера показывают, что вопросы предсказуемости и безопасности систем можно исследовать обычными научными методами, а не повторением тревожных прогнозов о p(doom).

Если мы действительно хотим оценивать безопасность, стоит опираться на воспроизводимые результаты и проверяемые показатели. Нынешние отраслевые пророки порой напоминают людей, слишком увлекшихся фантастикой. На мой взгляд, пора вернуться к действительности и признать, что за многими громкими страхами стоят преувеличения и стремление защитить коммерческие интересы.

 

Источник