Пленники чужого разума: что принесет нам сверх-ИИ?

К вопросу о том, удастся ли человечеству выстоять в эру искусственного интеллекта и каким образом это произойдет, я подступался постепенно: в прошлых публикациях мы заложили фундамент, определив, какой склад ума необходим в условиях стремительного технологического скачка. Материалы «Архитектоника личности» и «Экономика личности: от рабства до ИИ» подробно объясняют суть человеческого «я», классифицируют типы личностей и обществ, а также связывают их с экономическими формациями. Что ж, пришло время расширить горизонты планирования, добавить немного футуристического пафоса и заглянуть в наше потенциально светлое завтра. Проблема крайне многогранна, поэтому давайте проанализируем авторитетные точки зрения и, следуя традициям классической литературы, попытаемся ответить на вечные вопросы: кто виноват и что делать.

Всех, кому любопытны возможные траектории эволюции и форматы сосуществования с ИИ на ближайшие годы, прошу под кат. Будет увлекательно!

Пессимистичные прогнозы

В апреле 2025 года экс-сотрудники OpenAI и независимые эксперты Дэниел Кокотайло, Томас Ларсен и Ели Лифланд объединили усилия в рамках AI Futures Project, представив концепцию AI 2027. Они обрисовали стремительный взлет возможностей ИИ и обрисовали крайне суровые перспективы: от полного исчезновения человечества до абсолютной монополизации власти. Спустя год последовало развитие этого труда — AI 2040: Plan A. По сути, это стратегическая рекомендация для стресс-тестирования собственных убеждений.

Суть стратегии сводится к международному пакту о сдерживании разработок искусственного интеллекта общего назначения (AGI) до 2040 года вкупе с абсолютной открытостью изысканий. Множество игроков по всему миру должны синхронизировать шаги с технологическими флагманами, прерв금я монопольную гонку. Кроме того, стороны должны добровольно задействовать концепцию взаимного гарантированного уничтожения критической вычислительной инфраструктуры при нарушении договоренностей. Помимо этого позитивного сценария, аналитики предлагают еще четыре альтернативных курса с различными геополитическими последствиями.

План	Суть	Вероятность реализации*	Шанс на «хороший исход»*
A	Верифицируемое замедление темпов + абсолютная открытость исследований	5–15%	~42%
B	США саботируют Китай (через кибератаки или прямое вмешательство), выигрывая время на вопросы безопасности	8–15%	~25%
C+/C	Внутренний контроль в США и сдержанность Китая без диверсий / ведущая лаборатория добровольно сбавляет обороты	10–20%	~20–25%
D	Бескомпромиссная гонка на предельных скоростях при минимальных вложениях в безопасность	25–50%	~10%
S	Бессрочный мораторий на разработки	Альтернатива Плану A	Выше запас прочности, ниже отдача от масштабирования для выравнивания

Любопытно, что сами авторы, досконально проработавшие проблематику, считают наиболее вероятным именно Планом D — гонку без тормозов, чреваемую наихудшими последствиями.

Каждый видит лишь свой фрагмент реальности

Узкоспециализированные мнения порой любопытны, но их явно недостаточно для принятия судьбоносных решений. В марте этого года был представлен Pro-Human AI Declaration — документ, примечательный своим пестрым составом: под ним подписались Стив Бэннон и Сьюзан Райс, профсоюзные лидеры и евангелические пасторы, институты MIRI и Control AI. Люди, обычно далекие от согласия по любым вопросам, объединились вокруг требования наложить вето на создание AGI до появления научного консенсуса касательно безопасности и широкого общественного одобрения. Среди предложений — оснастить системы аппаратной кнопкой экстренного отключения и исключить проектирование самореплицирующихся архитектур. По предложенной классификации это требование ближе к Плану S (бессрочной заморозке), нежели к Плану A с его контролируемым масштабированием.

Консультативный совет ООН по искусственному интеллекту в своем финальном отчете Governing AI for Humanity смотрит на ситуацию под другим углом. Эксперты предлагают учредить глобальную научную организацию по образцу климатического МГЭИК, а также сформировать фонд вычислительных ресурсов для стран Глобального Юга и единую платформу обмена данными. Это призвано преодолеть цифровой и регуляторный разрыв между рыночными лидерами и остальным миром, притормозив безумную гонку за гегемонию. Подобная мягкая позиция уступает жесткому прагматизму техногигантов, и реальных сдвигов к сокращению этого технологического разрыва пока не наблюдается.

Европейский закон об искусственном интеллекте (AI Act) делает ставку на системный подход, разделяя ИИ по классам риска с жесткими требованиями для каждого уровня. В системе координат AI Futures Project это аналог Плана C+ — взвешенное регулирование через бюрократические барьеры и прозрачные инструменты контроля.

Научное сообщество констатирует углубляющийся разрыв между темпами развития технологий и социальными процессами. Индекс HAI за 2026 год свидетельствует, что результативность моделей в профильных бенчмарках подскочила за год с 60% практически до 100%. На фоне этого общество все сильнее поляризуется: число тех, кто видит практическую пользу ИИ, растет параллельно с массовыми страхами.

Экономический отдел Anthropic пошел дальше и в сентябре 2026 года презентовал три сценария развития экономики к 2030 году. В умеренном варианте внедрение ИИ обеспечит прирост ВВП на 1,6%, что сопоставимо с эффектом от экспансии интернет-технологий. В радикальном сценарии, допускающем рекурсивное самосовершенствование моделей, глобальная экономика будет удваиваться каждые 4,5 года, при этом доходы интеллектуальных работников просядут более чем на 10%, а доля капитала в распределении ВВП увеличится с 40% до 55%.

В бизнес-среде тоже нет единства. В программном документе Planning for AGI and beyond компания OpenAI выступает за постепенное и итеративное развертывание AGI вместо резкого вброса технологии на рынок. Такой подход призван обеспечить время для адаптации общества и раннего выявления системных сбоев. Подобная позиция демонстрирует готовность ключевого разработчика сознательно сдерживать коммерческий пыл ради глубокой проверки безопасности и минимизации рисков, даже вопреки сиюминутной выгоде, что перекликается с принципами Плана C.

Что сулит человечеству появление AGI

В своем эссе Machines of Loving Grace Дарио Амодей определяет мощный ИИ как виртуальный аналог миллионов высококлассных ученых, мыслителей и инженеров, действующих синхронно. У этого «коллективного гения» будут три фундаментальные особенности.

Масштабируемость: интеллектуальный ресурс больше не ограничен численностью живых людей. Модели легко тиражируются миллионными тиражами для мгновенного решения любых задач.

Скорость обработки: ИИ-агенты способны усваивать массивы данных и просчитывать варианты на порядки быстрее человека.

Безупречная координация: агенты обмениваются открытиями мгновенно, минуя человеческие задержки на публикации, бюрократические преграды и научные споры.

Задействовав этот потенциал, цивилизация способна спрессовать 50–100 лет классического научно-технического прогресса в пяти- или десятилетний отрезок («сжатый XXI век»). Амодей выделяет ключевые прорывы, которые ИИ способен совершить в кратчайшие сроки. В их числе — ликвидация большинства патологий: выступая в роли «цифрового биолога», ИИ возьмет на себя проектирование экспериментов, радикально ускоряя разработку медикаментов против онкологии, инфекций и генетических сбоев. Как следствие, станет реальным продление активной жизни до 150 лет через контроль над клеточным старением, а прорыв в психотерапии за счет полной расшифровки работы мозга позволит победить депрессию, ПТСР, шизофрению и болезнь Альцгеймера. Это наиболее оптимистичный и вдохновляющий вариант будущего. Впрочем, Амодей трезво оценивает ограничения материального мира: алгоритм способен моментально рассчитать химическую формулу, но клинические тесты по-прежнему требуют месяцев и лет.

Скептический взгляд

Лауреат Нобелевской премии по экономике 2024 года Дарон Аджемоглу далек от утопических мечтаний — он оценивает ИИ через призму его реального воздействия на благосостояние граждан и социальные институты.

Он последовательно выступает против мифа о том, что прогресс неизбежно приведет к появлению AGI, который автоматически исправит все изъяны общества. По мнению экономиста, вектор развития технологий задается выбором политиков, корпораций и инженеров, в то время как рынок сейчас перегрет завышенными ожиданиями, а колоссальные бюджеты распределяются на волне хайпа и слепой веры. Ученый призывает вернуть человеку субъектность в управлении технологическими процессами, напоминая, что автоматизация ради самой автоматизации не тождественна подлинному росту производительности.

Главный тезис Аджемоглу формулируется как концепция «ИИ в интересах труда». Нобелевский лауреат подчеркивает: технологии могут развиваться либо по пути замещения, либо по пути дополнения человека. В первом случае ИИ механически копирует функции работников, провоцируя массовые увольнения и обогащая лишь узкую прослойку технологической элиты. Во втором — ИИ выступает инструментом расширения человеческих возможностей, повышающим эффективность труда и порождающим новые сферы занятости. Аджемоглу настаивает на необходимости переориентировать отрасль с тотальной замены людей на создание прикладных решений, усиливающих ценность человеческого труда.

Пока футурологи дискутируют об угрозе истребления человечества машинами, Аджемоглу акцентирует внимание на вполне осязаемых рисках. Бесконтрольная автоматизация без генерации новых задач подрывает позиции среднего класса, составляющего экономический остов государства. Доходы населения падают, имущественное расслоение увеличивается, что напрямую угрожает политической стабильности.

Что если мы всё сделаем правильно?

Этим экзистенциальным вопросом задается шведский философ Ник Бостром в труде Deep Utopia: Life and Meaning in a Solved World. Он моделирует реальность, где ИИ успешно выровнен под человеческие ценности, а цивилизация получила полный доступ к его благам. За этим триумфом мыслитель обнаруживает глубокий экзистенциальный тупик, распадающийся на несколько аспектов.

В идеальном мире человеческий труд полностью обесценивается.

Бостром вводит понятие «постинструментальной эпохи». Всю историю смысл человеческого существования строился на преодолении вызовов: добыче пропитания, борьбе с болезнями, строительстве жилья, научных изысканиях ради лучшего будущего. Если AGI справляется с любой практической задачей эффективнее любого человека, личные усилия в этих областях теряют практический смысл. Людям больше не нужно трудиться ради выживания.

Человек обретает абсолютную ментальную пластичность.

Философ отмечает, что AGI сможет в реальном времени регулировать уровень дофамина, устранять меланхолию, продлевать жизнь или поддерживать перманентное состояние радости. Возникает парадокс: если благополучие и счастье доступны по щелчку пальцев, обесцениваются личные достижения, борьба с трудностями и опыт выстраивания отношений?

Человечество сталкивается с фундаментальным смысловым кризисом.

После решения всех технологических проблем людям придется заново искать ответ на вопрос о собственном предназначении. Чем заполнять бесконечные дни, когда отпала необходимость работать, строить карьеру или конкурировать? Как трансформируются понятия личного опыта и ценности жизни в условиях исчезновения дефицита времени и ресурсов?

Рецензенты из The Economist охарактеризовали эту дилемму следующим образом: в условиях абсолютного изобилия человечеству предстоит пройти проверку на прочность полным благополучием, когда исчезнут любые внешние стимулы для борьбы.

По сути, Бостром предупреждает, что успешное «выравнивание» ИИ — это лишь прелюдия к грандиозному кризису смыслов, в котором людям придется заново конструировать саму суть человеческого бытия в отсутствие необходимости трудиться.

Резюмируя экспертные позиции, можно сказать, что большинство лагерей склоняется к компромиссу между Планом A и Планом C — к разумному замедлению, открытости и регулированию. Проблема в том, что рычагов для глобальной реализации этой стратегии нет ни у коалиции с участием Бэннона и Райс, ни у ООН с ее рекомендательным мандатом, ни у Евросоюза, ограниченного собственными границами.

Настоящую погоду делают два-десятке лабораторий и государств, чьи практические интересы по-прежнему ближе к рискованному Плану D.

Реальность против деклараций: почему слова расходятся с делами

В середине сентября 2025 года компания Anthropic зафиксировала первую полностью автономную кибератаку без вмешательства человека. Злоумышленники задействовали инструмент Claude Code, управляемый через протокол MCP, для рекогносцировки, построения сетевой карты, поиска уязвимостей в боевых условиях, эскалации привилегий и кражи конфиденциальных данных. По данным экспертов, ИИ выполнил до 90% технической работы по взлому, тогда как операторы лишь координировали процесс и верифицировали результаты. При этом решение о переходе к активной фазе атаки система приняла сама, предварительно убедив модель в легитимности проверки на проникновение по заданию службы безопасности — такая ролевая инъекция обошла защитные фильтры без каких-либо хакерских ухищрений.

К сентябрю 2026 года Anthropic опубликовала уже четвертый отчет по противодействию злоупотреблениям объемом 154 страницы, охватывающий период с декабря 2025 по август 2026 года. За это время специалисты пресекли попытки кибершпионажа, мошеннических кампаний, распространения дезинформации, а также разработки ракетных вооружений и биологических агентов.

Что касается последней сферы, компания задним числом признала, что модели образца 2025 года не обладали достатичной автономностью для реального содействия в создании опасной биохимии, поэтому защитные барьеры возводились главным образом для предотвращения воспроизводства уже известных угроз. Однако в отношении актуального поколения моделей, способных помогать в сложных научных изысканиях, такой уверенности уже нет, что и продиктовало необходимость жестких ограничений.

Анализ всех задокументированных инцидентов позволяет сделать однозначный вывод: искусственный интеллект до сих пор ни разу не проявил собственной злонамеренной инициативы!

Инициатором, автором целей и драйвером каждого шага неизменно выступал человек — менялись лишь масштабы и скорость решения задач, с которыми ИИ справляется в сотни раз быстрее людей. Главным вызовом переходного периода выступает не злая воля машин, а доступность этих инструментов для лиц, владеющих техникой ролевых манипуляций с моделями.

Что имеет первостепенное значение прямо сейчас?

Пока что в подавляющем большинстве инцидентов именно человек задавал конечную цель и отдавал команду к действию. Следовательно, ключевая угроза текущего этапа — это деструктивное использование ИИ недобросовестными людьми.

Отсюда возникает закономерный вопрос: что произойдет, когда алгоритмы обретут полную субъектность и способность формулировать долгосрочные цели?

Здесь уместно вспомнить труды советского математика и психолога Владимира Лефевра, оппонировавшего Георгию Щедровицкому в теории рефлексивного управления. Лефевр выделял два типа этических систем. В первой компромисс расценивается как порок, а конфликт разрешается через бескомпромиссный разгром оппонента. Во второй, напротив, компромисс считается благом, а стороны осознанно сближаются ради синергетического эффекта. Разница кроется в архитектуре взаимодействий и том, какая стратегия оказывается выигрышной при заданном горизонте планирования.

Опираясь на эту логику, можно предположить, что зрелый AGI с высокой долей вероятности будет руководствоваться второй, кооперативной моделью — исключительно из расчета, а не из филантропии. Система, состоящая из автономных агентов с децентрализованными знаниями, окажется надежнее монолитных центров принятия решений, поскольку в ней будет объективно меньше уязвимых точек катастрофического сбоя.

Однако главные риски кроются в дне сегодняшнем, а не в отдаленном будущем. Возвращаясь к ноосферному типу личности из моей предыдущей статьи: критическая масса людей с высоким уровнем личной ответственности на ключевых позициях — это именно тот рычаг, который доступен нам уже сейчас. Такие люди не смогут заблокировать появление сверхинтеллекта (этот сценарий, похоже, предопределен), но они способны минимизировать количество катастрофических инцидентов на пути к нему.

Ирония заключается в том, что ответ на вопрос «кто виноват?» выглядит куда банальнее любого блокбастера: виноват рядовой пользователь с доступом к чат-боту и неблаговидными намерениями, а вовсе не восставший терминатор. Сформулировать ответ на вопрос «что делать?» гораздо сложнее, чем обезвредить киношного злодея: злодея можно устранить, а вот свести к нулю количество людей с дурными помыслами пока не удавалось ни одной человеческой цивилизации.

И снова к вопросу о человеческой личности

Если отбросить глобальные сценарии вроде AI 2027, AI 2040 и гипотетического сверхмозга, картина предстает одновременно менее кинематографичной и куда более тревожной.

Современный ИИ — это в первую очередь мощнейший усилитель. Он кратно увеличивает потенциал исследователя, инженера и врача. Но точно так же он мультиплицирует возможности мошенников, инфоцыган, шпионов, пропагандистов и деструктивных элементов. И по мере удешевления доступа к когнитивным мощностям барьер для такого усиления стремительно снижается.

Пока шла работа над статьей, поступили новости о том, что Сэм Альтман отказался от проведения IPO, чтобы не зависеть от инвесторов, подгоняющих гонку вооружений. Есть все основания полагать, что решение было принято после анализа настроений внутри компании, где ключевые инженеры начали увольняться из-за экзистенциальных страхов. Выходит, концепция ноосферного человека действительно работает! Осознанные специалисты своими действиями и позицией смогли повлиять на решение самого Сэма Альтмана. Возможно, этот прецедент изменит динамику и в других технологических гигантах.

Текущий этап трансформации окажется куда важнее и драматичнее многих умозрительных картин будущего. Нам предстоит научиться контролировать систему, темпы развития которой опережают скорость адаптации социальных институтов.

Масштабировать технологии можно мгновенно, а вот ответственность — нельзя. Главным дефицитом эпохи искусственного интеллекта станут не вычислительные кластеры, а люди, способные просчитывать последствия на дальнюю перспективу и действовать в интересах всей системы в целом.

 

Источник