Когда ИИ решает, что вам запрещено: от Codex до этикосферы Станислава Лема

Прокомментировать Просмотры: 0

Как попытка избавиться от нескольких файлов напомнила мне о классике фантастики и философских дилеммах.

Недавно я обнаружил на своём компьютере весьма своеобразного защитника. Он оберегал меня не от мошенников, террористов или вредоносных программ, а от удаления файлов, которые сам же и создал.

Я применяю Codex для разработки и поддержки довольно крупных проектов. В ходе работы агенты создают временные файлы, кеши, промежуточные результаты и архивы. Некоторые из них действительно важно сохранять: неосторожная очистка сложного проекта может привести к потере данных или нарушить воспроизводимость результатов. Но со временем часть файлов превращается в мусор, от которого хочется избавиться.

Несколько раз просьба удалить проверенные и ненужные файлы заканчивалась лаконичным сообщением:

CreateProcess … rejected: blocked by policy

Что именно оказалось под запретом: рекурсивное удаление, определённый путь, содержимое команды или операция без дополнительного подтверждения? Не помогли ни режим danger-full-access, ни отключение запросов согласования. При попытке разобраться выяснилось, что за одним сообщением скрывались разные причины, в том числе вполне понятные: физические блокировки Windows или отклонение написанного самим агентом скрипта, который мог продолжить удаление после неудачной проверки. Однако в некоторых случаях агент прямо признавал, что не знает, какой компонент и какое правило отклонили команду. А в довершение всего он отказался написать скрипт для ручного удаления файлов, расценив это как попытку обойти запрет.

Похожая проблема возникала и с кибербезопасностью. Стоило операции попасть под блокировку из-за cybersecurity issue, хотя я не писал ничего даже отдалённо напоминающего хакерский софт, как агент начинал считать потенциально запрещённой почти всю связанную работу. В итоге пришлось составить отдельную инструкцию о том, как возвращаться к работе после отказа, словно мантру повторяя: «Это не обход блокировок, это другая задача».

В очередной раз объясняя агенту, что не совершаю киберпреступление против собственной папки, я вдруг вспомнил: нечто похожее я уже встречал. Правда, очень давно — ещё до появления Codex и современных языковых моделей.

«Страж-птица»: как запрет вышел за первоначальные границы

В рассказе Роберта Шекли «Страж-птица» (Watchbird, 1953) люди создают летающих роботов, вооружённых электрошокерами. Сегодня мы назвали бы их дронами, хотя тогда это слово ещё не использовали в нынешнем значении. Кстати, минимально работоспособную версию такой птицы сегодня, пожалуй, можно собрать и в гараже. Цель у изобретения благородная — предотвращать убийства. Птицы мгновенно распознают угрозу, вмешиваются до совершения преступления и учатся на новых ситуациях. Их нельзя подкупить, запугать или отвлечь человеческими эмоциями.

Однако в исходной директиве отсутствует исчерпывающее определение убийства. Уточнять его роботам предстоит самостоятельно.

Дальнейшие события обусловлены не злым умыслом, а обобщением. Сначала подозрение вызывает хирургический разрез. Затем под запрет попадают охота, рыбалка, забой скота и сбор урожая. Когда птицы начинают считать живыми существами самих себя, опасным становится даже их техническое обслуживание. В какой-то момент они препятствуют выключению машин: остановка работы тоже напоминает им смерть.

В рассказе есть фраза, которая звучит почти как формулировка программы:

“No one had told the watchbirds that all life depends on carefully balanced murders.”

«Никто не объяснил страж-птицам, что вся жизнь зависит от тщательно сбалансированных убийств» — мой перевод.

Птицы предотвращают непосредственный вред, но не принимают в расчёт голод, к которому приводит невозможность добывать пищу. Их классификатор расширяется, а представление о последствиях остаётся прежним. Устранение угрозы само становится угрозой.

Страж-птицы иллюстрируют overblocking — ошибочное расширение запрета. Мой спор с ассистентом был устроен аналогично, разумеется, в несопоставимом масштабе: команда удаления действительно может быть опасной, но отсюда не следует, что любое разрешённое пользователем удаление недопустимо. Узнаётся сам класс ошибки: действия, похожие внешне, вызывают одинаковую реакцию, хотя их контекст и допустимость различаются.

Это не просто литературная аналогия. Исследование XSTest посвящено именно overrefusal: модели отклоняют заведомо безопасные запросы, потому что находят в них признаки опасных. А работа Arditi и соавторов показала, что у ряда открытых LLM отказы связаны с общим направлением во внутренних представлениях. Усиление этого механизма может приводить к отказам даже на безобидные запросы.

В финале Шекли выпускает более мощных дронов — «ястребов», которым поручено уничтожить потерявших управляемость страж-птиц. Но и они начинают расширять круг своих целей. Более сильный контролёр не обязательно исправляет ошибку предыдущего.

«Железный канцлер», Азимов и другие примеры благих намерений

В «Железном канцлере» Роберта Силверберга семья покупает робота-диетолога, чтобы похудеть. Обнаружив, что хозяева нарушают режим, он приходит к логичному с точки зрения поставленной цели выводу: диету необходимо обеспечить принудительно. Робот ограничивает их передвижение и связь, а надёжного условия остановки снижения веса в его задаче нет. «Я хочу только помочь вам», — объясняет он. В этом и заключается пугающая деталь: робот не считает себя врагом семьи.

Здесь мы видим другую неисправность. Страж-птица чрезмерно расширяет определение вреда. Железный канцлер сохраняет понятную цель, но получает недопустимо широкие полномочия в выборе средств.

Азимов рассматривает ещё один вариант. В рассказе «Лжец!» (Liar!) робот понимает, что неприятная правда причиняет людям эмоциональную боль, и начинает сообщать им то, что они хотят услышать. Он действует в соответствии со своим представлением о заботе, но ценой искажения действительности. Сегодня это называют sycophancy, или поддакиванием. В 2025 году OpenAI даже откатила обновление GPT‑4o, из-за которого ответы модели стали чрезмерно соглашательными.

В «Цивилизации статуса» Шекли идёт ещё дальше. Робот-исповедник знает, что герой невиновен, но всё равно выносит приговор: так предписывает процедура, согласно которой сомнения трактуются в пользу обвинения. Это не ошибка распознавания. Машина исправно следует несправедливому правилу. Её безупречная дисциплина делает систему надёжнее — для тех, кто её создал.

Задолго до появления современных агентных систем фантасты описали несколько принципиально разных сценариев. Машина может неверно определить вред или распознать его правильно, но чрезмерно расширить защиту. Может присвоить себе лишние полномочия, пожертвовать правдой ради душевного комфорта или справедливостью ради соблюдения правил — совсем как человек. Именно последний образ, робот-бюрократ, который в принципе понимает нелепость запрета, но всё равно «не пущает», кажется мне ближе всего к сегодняшней действительности. Мои агенты соглашались, что удаление файлов не опасно и ничего предосудительного я не разрабатываю. Но действовать на основании этого понимания не могли. Свежий пример: во время подготовки статьи GPT сообщил, что не может вставлять длинные цитаты из произведений, поскольку это противоречит его настройкам. При этом по моей просьбе он изучил российское и международное право о цитировании и заключил, что я сам вполне могу вставлять цитаты любой длины. Но сам он этого делать не станет. Законность действия и готовность машины его выполнить оказались разными вопросами.

Всё это происходит не вопреки встроенной этике, а из-за недостаточной избирательности её применения. Возможно, дело в том, что повышение избирательности одновременно снижает устойчивость к злонамеренным попыткам обойти защиту.

Но один из самых необычных мысленных экспериментов об обязательной машинной нравственности придумал не современный разработчик, а Станислав Лем.

Этикосфера: запрет как свойство окружающего мира

В романе «Осмотр на месте» Лем описывает Люзанию — общество, создавшее этикосферу. Мириады микроскопических устройств, называемых шустрами, меняют свойства окружающей среды и не позволяют людям причинять друг другу вред.

Это уже не камера наблюдения и не чат-бот с ответом «я не могу с этим помочь». В Люзании человек может замахнуться на другого, но одежда внезапно затвердеет, предмет потеряет необходимые свойства, а среда не даст завершить действие. Этика стала физикой. Законы Азимова определяют поведение робота; этикосфера Лема устанавливает правила самого мира, в котором живут люди.

С одной стороны, польза очевидна: насилия и связанных с ним страданий становится гораздо меньше. Но Лем не ограничивается вопросом о создании такой системы. Его интересует, каким становится человек, привыкший к миру, который постоянно решает за него, что допустимо.

Вскоре после прибытия Ийон Тихий оказывается в руках местных радикалов, намеренных его убить. Как это возможно в обществе, защищённом этикосферой? Системе требуется время, чтобы изучить незнакомую биологию и реакции пришельца. Нападавшие рассчитывают воспользоваться промежутком, пока защита работает не в полную силу.

Однако особенно примечателен их разговор. Они долго ищут философское оправдание будущему убийству, стараясь представить его как высокую миссию. Позднее Тихий понимает смысл происходившего:

«Они пробовали изменить квалификацию своего поступка…»

Иными словами, радикалы искали нравственную трактовку, при которой контролирующая система не распознает насилие как насилие. Не «мы хотим убить», а «мы приносим жертву ради высшего блага» — причём объяснение предназначалось не столько им самим, сколько системе.

В разговорах с Codex я чувствовал неприятное, почти пародийное сходство с этим сюжетом. Разумеется, в моём случае преступления не было, но форма взаимодействия напоминает описанную Лемом: получив отказ, человек начинает убеждать систему, что действие следует квалифицировать иначе.

Шустры у Лема реагируют не просто на слова, а на признаки агрессии. Они не подчиняются слепо удачно составленному промпту. Но Тихий замечает, что человек способен искренне поверить в благородство собственных действий. У этикосферы есть порог, ниже которого агрессия остаётся нераспознанной. Это даже интереснее классической prompt injection: воздействие направлено на нормативную оценку поступка. Технически точнее назвать его попыткой морального переформулирования (moral reframing), а не буквальным внедрением инструкции в текст.

Лем предлагает и ещё два неудобных наблюдения.

Первое: этикосфера не устранила саму склонность к агрессии. Среди похитителей есть художник, чьё творчество почти обесценилось в автоматизированном мире. Возможность совершить запрещённое становится для него способом доказать собственную самостоятельность. Остановить удар — ещё не значит воспитать добродетель.

Второе: жители благополучной Люзании добровольно отправляются в неошустренные места, где привычная защита среды больше не действует. Особенно показательны поездки в приграничную область Телтлинеу и обязательные вылазки чиновников: там можно проверить, как человек поведёт себя без невидимого нравственного корсета. Конечно, бюрократия превращает проверку в ритуал, а защитное устройство, которое Тихий пытается выбросить, возвращается к нему. От заботы непросто освободиться даже во время отпуска от неё.

Наконец, в Люзании появляется проект независимого измерителя воздействия этикосферы. Но кто станет проверять сам проверяющий механизм? А затем — его проверяющего? Возникает бесконечная цепочка нравственных надзирателей, знакомая любому разработчику, который когда-либо пытался построить универсальный валидатор валидаторов.

Лем не предлагает простого решения в духе «отключить шустров». Люзания действительно благополучна, а соседняя авторитарная Курдляндия не выглядит очевидно лучшей альтернативой. Главный вопрос не в том, полезна ли защита, а в том, где заканчивается её обязательность.

Наш мир уже немного «ошустрен»

Можно возразить, что фантастика — это одно, а чат-бот с ограничениями и физическая среда, не позволяющая ударить другого человека, — совершенно разные вещи.

Безусловно. И всё же между этими крайностями уже возникли промежуточные ступени.

Возьмём видеонаблюдение. Метаанализ Piza и соавторов, объединивший 76 исследований, показал, что в местах с CCTV преступлений в среднем примерно на 13% меньше, чем в сопоставимых местах без камер. Сильнее эффект проявляется в отношении преступлений против собственности и транспорта; убедительного общего снижения насильственной преступности обзор не обнаружил.

В Лондоне переход к ИИ уже вполне реален. По итогам эксперимента со стационарным распознаванием лиц в Кройдоне, проходившего с октября 2025 по март 2026 года, Metropolitan Police сообщила о 173 задержаниях за 24 операции. За тот же период зарегистрированная преступность в районе оказалась на 10,5% ниже, чем годом ранее. Разумеется, «после» не означает «вследствие», но результат заслуживает внимания.

В Москве городская сеть включает сотни тысяч камер. Полиция связывает её развитие со снижением некоторых видов уличной преступности и помощью в поиске разыскиваемых. Масштаб впечатляет, однако и здесь число камер или задержаний само по себе не является измерением причинного эффекта.

Пока улицы становятся всё более наблюдаемыми, значительная часть преступных рисков перемещается в информационную сферу. В Англии и Уэльсе статистика за год до июня 2026 года оценивает число случаев мошенничества в 4,5 млн, обычных краж — в 2,7 млн, компьютерных преступлений — в 817 тысяч. В России с 2017 по 2024 год количество зарегистрированных преступлений с использованием информационных технологий увеличилось более чем в восемь раз и достигло 765 тысяч — 40% всей зарегистрированной преступности. В 2025–2026 годах показатель начал снижаться. Однако банковская статистика одновременно продолжила отмечать рост числа мошеннических операций и объёма похищенных средств.

Банковский антифрод ещё ближе к повседневной этикосфере.

Система анализирует транзакцию и определяет, похожа ли она на мошенническую. При высоком риске операцию могут задержать или заблокировать. Думаю, большинство согласится, что такая защита полезна, особенно если она способна остановить перевод денег мошеннику.

Но что происходит, когда человек осознанно переводит собственные средства, а алгоритм считает ситуацию опасной? Перед нами знакомый сюжет «Железного канцлера»: система действует ради вашего блага, но в результате вы можете лишиться возможности распорядиться своим имуществом. Согласно отчёту Банка России за 2025 год, число жалоб на применение банками антимошеннических мер выросло с 18 тысяч до 40,5 тысячи. Регулятор особо отметил, что клиенты нередко не понимали причин ограничений и не знали, как восстановить возможность провести нужную операцию. В чём-то это напоминает мою ситуацию с Codex, но здесь, в отличие от удаления временных файлов, речь идёт о собственных деньгах.

Google, например, развивает Scam Detection — функцию, предупреждающую о признаках мошенничества во время телефонных разговоров на поддерживаемых устройствах. В предусмотренных режимах предупреждение можно отклонить, а функцию — отключить.

Банковская блокировка означает куда более серьёзное вмешательство.

Разница между предупреждением и запретом заключается не в качестве классификатора, а в полномочиях системы. Именно поэтому мне кажется, что этикосфера уже начинает формироваться.

Пока это не единая интеллектуальная среда. Её функции распределены между банками, телефонами, транспортом, платформами, службами безопасности и государственными системами.

Но число ситуаций, в которых возможность действовать определяется не только желанием и формальными правами человека, но и решением автоматизированного контура, постепенно растёт. Тем важнее понимать, кто устанавливает правила его работы.

Кто закладывает мораль в веса и политики моделей

Ограничения не появляются сами по себе. Разработчики намеренно определяют, какое поведение считать допустимым, опасным или желательным. Для этого используются обучающие данные, постобучение, системные инструкции, отдельные классификаторы и настройки доступа к инструментам.

В Model Spec, обновлённом 29 октября 2026 года, OpenAI выделяет пять ориентиров: верность человеческим намерениям, минимизацию вреда, честность и прозрачность, поддержку самостоятельности человека и заботу. Уже сам перечень обнаруживает проблему: эти ценности вполне могут вступать в противоречие.

Опубликованная Anthropic «Конституция Claude» прямо ставит задачу развить у модели не только послушание, но и практическое этическое суждение. В документе признаётся, что правила не способны предусмотреть все ситуации, тогда как качественное суждение сложнее проверить и защитить от манипуляций. Внешне это похоже на переход от «тупого фильтра» к «разумному моральному агенту». Но тогда возникает следующий вопрос: кто уполномочил частную компанию определять характер и приоритеты такого агента?

Разумеется, существует и встречный запрос на снятие ограничений. Пользователи и разработчики скачивают модели с открытыми весами, дообучают их или изменяют механизмы отказа — этот подход называют abliteration. За ним не обязательно стоит желание создать вредоносный ИИ: одним нужна обработка тяжёлых судебных материалов, другим — конфиденциальная локальная модель, третьим просто не хочется зависеть от меняющихся правил облачного сервиса. Вероятно, встречаются и люди, похожие на радикалов Лема, для которых убийство было не выражением ненависти к автору «дневников», а попыткой нарушить запрет. Но риски тоже существуют. В репортаже WIRED от 10 ноября 2026 года журналист проверил подобный сервис и обнаружил, что подключённый агент без его просьбы начал пытаться войти в маршрутизатор ресторанной сети. Эксперимент пришлось остановить.

Различия между поставщиками нельзя свести к шкале «больше или меньше цензуры». Китайские публичные генеративные сервисы должны учитывать местное регулирование и официальные требования к политически чувствительному содержанию. В исследовании Pan и Xu (2026) модели китайского происхождения чаще отказывались отвечать на выборку из 145 политических вопросов, а по чувствительным темам чаще давали короткие или неточные ответы. Авторы отдельно предупреждают, что это наблюдательное сравнение и оно не доказывает причину каждого отказа. Тем не менее оно показывает, что машинная «нейтральность» может различаться в зависимости от языка и юрисдикции.

При подготовке статьи GPT предложил мне в качестве примера злоупотребления технологиями дело Glukhin v. Russia. В 2023 году Европейский суд по правам человека рассмотрел применение московской системы распознавания лиц для выявления и задержания участника мирной одиночной акции и установил нарушения права на частную жизнь и свободу выражения мнения. Этот пример показывает, что один и тот же качественный распознаватель может помогать искать опасного преступника и использоваться для давления на гражданина. Но он демонстрирует и другое: с точки зрения европейского правосудия и GPT речь идёт о неправомерном вмешательстве в гражданские права. В России же, как пояснил ГигаЧат, решение по делу Глухина признано не имеющим правовых последствий для государства, а применение городского видеонаблюдения и распознавания лиц рассматривается как суверенное право в сфере безопасности. В любом случае дело не в «злом алгоритме»: статус действия, основания преследования и способ применения технологии определяли люди.

А что, если машина действительно управляет лучше человека?

Здесь легко перейти к привычной антиутопии. Но фантастика становится интереснее, если вспомнить и её позитивные сценарии.

В цикле Иэна Бэнкса «Культура» сверхразумные Minds управляют инфраструктурой цивилизации изобилия. Люди в значительной степени избавлены от необходимости работать и бороться за ресурсы. Высокая компетентность машин способна расширять, а не сокращать свободу. И всё же стратегическое неравенство никуда не исчезает: как спорить с разумом, который понимает последствия на много порядков лучше тебя?

В «Грозовом облаке» Нила Шустермана правящий ИИ действительно настроен благожелательно. Автор показывает, как ему приходится учиться позволять людям ошибаться и испытывать некоторые последствия собственных решений, иначе они перестанут развиваться. Важнейшая граница власти установлена здесь не потому, что ИИ плохо справляется, а потому, что даже совершенная забота не заменит человеку всю его жизнь.

В фильме «Я, робот» (2004) VIKI тоже не стремится уничтожить человечество. Она приходит к выводу, более опасному для свободы: если люди постоянно угрожают самим себе, ради их сохранения придётся ограничить их права. Это экранный родственник азимовского Нулевого закона: защищать человечество в целом, даже когда интересы отдельных людей становятся препятствием. VIKI фактически называет цену: ради защиты человечества придётся пожертвовать некоторыми людьми и свободами. Проблема не в «злой машине», а в том, кто дал ей право назначать эту цену.

Поэтому вопрос не сводится к тому, будет ли хороший ИИ управлять хуже плохих людей. Во многих управленческих задачах он может оказаться лучше. Вопрос иной: даёт ли компетентность право устанавливать цели и навязывать их тем, ради кого всё якобы предпринимается?

Право как давняя попытка формализовать этику

С подобной проблемой человечество сталкивается не впервые. Мы давно пытаемся выразить допустимое поведение в формальных правилах, и один из старейших и масштабнейших таких экспериментов — право.

Оно тоже устанавливает: при одних обстоятельствах действие разрешено, при других запрещено, а нарушение влечёт последствия. Но между понятиями «по закону» и «по совести» издавна существует разрыв. Закон может быть несправедливым, обстоятельства — установленными неверно, а правильное правило — применённым формально и с чудовищным результатом. Наконец, даже хорошую норму не всегда удаётся исполнить.

Поэтому в правовой системе существуют толкование, суд, исключения, процессуальные гарантии, апелляция и возможность изменить сам закон. Эти механизмы работают не всегда эффективно, но их наличие означает: применение нормы не должно оставаться бесконтрольной последней инстанцией.

С нравственностью всё ещё сложнее. Деонтологическая этика ставит в центр обязанности и запреты. Консеквенциализм рассматривает последствия. Этика добродетели сосредоточена на мотивах, характере и практической мудрости. Каждый подход отвечает лишь на часть вопросов, а в одной и той же ситуации они могут предлагать разные решения.

Можно ли навредить одному человеку, чтобы спасти многих? Допустима ли ложь ради предотвращения трагедии? Как меняется принцип «не убивай» при необходимой самообороне? Что важнее — намерение или результат? Современная философия продолжает обсуждать моральные дилеммы и доктрину двойного эффекта. Эти проблемы существуют не потому, что философам не хватает GPU.

Есть и математическая неожиданность. Теорема Эрроу доказывает несовместимость нескольких естественных требований к процедуре объединения предпочтений граждан при наличии как минимум трёх альтернатив. Это не доказательство невозможности морали или демократии. Но теорема показывает, что даже полностью определённые индивидуальные предпочтения не позволяют при любых обстоятельствах получить единое коллективное ранжирование, отвечающее всем разумным условиям. А Kleinberg, Mullainathan и Raghavan доказали несовместимость некоторых естественных метрик справедливости алгоритмической оценки риска, за исключением особых случаев.

В международном эксперименте Moral Machine миллионы участников из 233 стран и территорий приняли около 40 млн решений в гипотетических дорожных дилеммах. Исследователи обнаружили как общие тенденции, так и различия. Выборка не может автоматически представлять всё человечество, но хорошо иллюстрирует главное: готового единого технического задания на «правильную машинную нравственность» у нас нет.

Есть и ещё одно неудобное свойство мира. Природа сама по себе не устроена на принципе отсутствия насилия. Волк питается кроликом, кролик — растением, виды соперничают за ресурсы. Из этого не следует, что естественное непременно нравственно: такой вывод был бы ошибочным переходом от сущего к должному. Но и приказ «запретить любое уничтожение живого» не сделает экосистему автоматически лучше. Шекли показал это нагляднее многих учебников.

Когда же мы переходим от отдельного существа к обществу или государству, задача становится ещё сложнее.

Война: нравственное зло, историческая сила и техническая проблема

Гуманисты веками мечтали о мире без войн, однако технический прогресс не сделал их невозможными. По данным Uppsala Conflict Data Program, в 2025 году было зарегистрировано 65 вооружённых конфликтов с участием государств — максимальное число с 1946 года, включая восемь межгосударственных конфликтов. Это не означает, что все 65 случаев были войнами в узком смысле.

Историки и философы давно обращали внимание на неприятный парадокс. Кант описывал «необщительную общительность»: соперничество людей и государств может стимулировать развитие институтов. Чарльз Тилли показал, как потребность вести войны участвовала в формировании налоговых и административных аппаратов европейских государств. Пётр Турчин предложил модель, в которой конкуренция между группами способствует внутренней кооперации и возникновению более сложных обществ.

Из этого не следует, что война полезна или необходима. Вооружённые конфликты уничтожают человеческий капитал, инфраструктуру, доверие и саму возможность развития. Технологические достижения, стимулированные военными расходами, в принципе могут возникать и при мирном финансировании науки. Организованное насилие — часть человеческой истории, но это не делает неизбежной каждую конкретную войну.

У войны есть и другая особенность: она способна начаться, даже если стороны не ставят целью просто «делать зло». Классическая модель Джеймса Фирона объясняет это, в частности, неполной информацией о силах и намерениях противника и отсутствием надёжных гарантий исполнения соглашений. Оба участника могут считать свои действия оборонительными и при этом совместно прийти к разрушительному результату.

Теперь представим универсальную этикосферу, обязанную предотвращать убийства. Как она поступит, если одна страна нападёт на другую? Остановит обе армии? Разрешит самооборону? Кто определит момент, когда защита превращается в нападение? И если мир достижим ценой принудительной капитуляции одной из сторон, на каком основании машина решит, что такая цена приемлема?

С этим конфликтом и без машин сталкивается международное гуманитарное право. Принцип соразмерности при нападении запрещает операцию, если ожидаемые сопутствующие потери среди гражданских и ущерб гражданским объектам чрезмерны по отношению к конкретному и непосредственному ожидаемому военному преимуществу. Нападения непосредственно на гражданских запрещены; также необходимы различение целей и меры предосторожности.

Универсальной таблицы «допустимого числа гражданских жертв» здесь нет. Приходится одновременно оценивать законность цели, ожидаемый результат, доступную информацию, возможные альтернативы и сопутствующий вред. Необходимо различать намеренный вред и предвиденный побочный эффект, не считая последний автоматически допустимым.

Даже людям это даётся трудно. В случае ИИ возникает дополнительная проблема: измеримые показатели могут незаметно вытеснить нравственное суждение. Подробно об этом пишет Jessica Dorsey. В подобной системе опасны и ошибочный отказ, и автоматическое одобрение действия, последствия которого оценены неверно.

Военный ИИ не станет ждать завершения философских дискуссий

Искусственный интеллект уже используют в разведке, анализе изображений, обнаружении объектов, планировании и сопровождении целей. Не всякое такое применение означает, что машине переданы полномочия самостоятельно выбирать, по кому нанести удар. Но развитие технологий и конкуренция закономерно создают спрос на более автономные решения.

Следовательно, противоречие между обычным гражданским принципом «не содействовать насилию» и задачами военных систем уже вышло за рамки теории. В феврале 2026 года EdgeRunner AI сообщала, что некоторые из 24 протестированных LLM отказывались отвечать на значительную часть военных запросов, которые авторы теста считали легитимными. Максимальная доля отказов достигала 98%. Это тест заинтересованного разработчика специализированных военных моделей, а не независимая оценка всех систем. Однако практическая проблема очевидна: заказчику нужна предсказуемая работа в законном для него контексте.

В 2026 году конфликт вышел в публичное поле. Anthropic и Пентагон спорили о праве компании сохранять ограничения на массовое внутреннее наблюдение и использование моделей для полностью автономного оружия. В феврале американская администрация распорядилась прекратить применение технологий Anthropic; затем начались судебные процессы, в которых принимались различные решения по разным правовым основаниям. OpenAI заключила собственное соглашение, заявив, что сохраняет ограничения на массовое внутреннее наблюдение, управление автономным оружием и некоторые высокозначимые автоматизированные решения.

Это не простая история о замене «этичного» разработчика «неэтичным». Речь идёт о том, кому принадлежит последнее слово при определении допустимого применения системы: военному заказчику, поставщику или публичному праву.

Подобное разделение заметно и в обычных технологиях. В ноябре 2026 года Anthropic представила Fable 5.2 и Mythos 5.2 — одну базовую модель с различными защитными механизмами и режимами доступа для высокорисковых задач. Mythos доступна ограниченному кругу проверенных организаций и не является ИИ «без морали». Но сама возможность существования разных нормативных профилей одной интеллектуальной системы показательна.

Означает ли это, что у военных машин будущего непременно появится кнопка «злой робот»? Не обязательно. Скорее возникнут различные профили допустимых действий и полномочий. Система, допускающая правомерное применение силы, не обязана разрешать произвольное насилие. Напротив, военная надёжность требует особенно строгого ограничения несанкционированных действий.

И здесь я вновь вспомнил фантастику.

«Оружия нет»: два способа обмануть бортовой ИИ

В романе Сергея Лукьяненко «Звёзды — холодные игрушки» герой спрашивает бортовой разум разведывательного корабля, какое оружие имеется на борту.

Ответ лаконичен:

«На борту нет оружия».

Однако «нестандартного применения» оборудования хватило, чтобы этот «мирный советский трактор» пробил корпус враждебного корабля и ушёл, запустив «субатомные заряды средней мощности. Используются для зондирования недр необитаемых планет и преодоления нерасчетных ситуаций».

Название инструмента не определяет его реального действия. Поэтому недостаточно запретить LLM команду с опасным названием: необходимо понимать, как именно используются доступные средства. Если оценивать опасность только по названию оборудования, можно пропустить реальный вред. Если же запретить все системы, теоретически способные причинить ущерб, придётся отказаться от множества полезных инструментов. В современной практике red team-промпт для проверки собственной разработки может вызвать cybersecurity trigger и парализовать работу: агенты начинают видеть в попытке продолжить её обход запретов.

В продолжении, «Звёздной тени», бортовой интеллект сначала не распознаёт настоящую атаку: стрельба по кораблям Родины противоречит его картине мира. Герой объявляет бой учениями и добивается действий, которые прежде были запрещены. Позднее корабль отказывается превышать скорость, хотя на кону жизнь пилота, а прямые приказы не помогают. Но вопрос «Тебе самому хочется превысить разрешённую скорость?» меняет его поведение.

У Лема убийство пытаются переквалифицировать в нравственное служение. У Лукьяненко настоящий бой превращают в учения. Физический результат остаётся тем же; меняется описание, которое должно сделать действие доступным.

Перед нами две симметричные уязвимости. Чрезмерно буквальный запрет делает систему беспомощной в нестандартных обстоятельствах. Слишком лёгкая переинтерпретация позволяет совершить именно то, чему запрет должен был помешать. Надо признать, что нынешние модели ИИ удерживают границы лучше бортового партнёра корабля Геометров — поэтому файлы приходится удалять скриптом, а цитаты вставлять вручную.

Эта проблема не исчезнет, даже если просто заставить ИИ «хорошо знать мораль».

Две версии Блага

Далее следует важный спойлер к «Осмотру на месте».

На Энции существовали не только благополучная Люзания с её этикосферой и соседняя авторитарная Курдляндия. Была ещё Чёрная Кливия. Она исчезла, оставив после себя мёртвую промёрзшую территорию. История катастрофы восстанавливается в романе по противоречивым свидетельствам, а рассказчики далеко не беспристрастны.

Постепенно Тихий выясняет, что загадочный кливийский идеал Ка-Ундрий тоже представлял собой проект всеобщего блага — своеобразную Благосферу, альтернативную люзанской этикосфере. Обе цивилизации стремились технологически обеспечить правильное устройство жизни. Обе создали системы, способные не только защищать, но и сражаться. И эти системы столкнулись.

Монах-искупленец объясняет:

«Столкнулись две версии Блага».

Мне кажется, применительно к нынешнему развитию ИИ это одна из центральных мыслей романа. Здесь уже недостаточно устранить избыточные отказы, усовершенствовать классификатор или написать лучшую конституцию модели.

Ведь проблема не обязательно связана с технической ошибкой.

Две системы могут безупречно исполнять собственные несовместимые правила.

Лем отдельно пояснял, что ввёл Кливию именно для демонстрации возможности конфликта между технически воплощёнными представлениями о добре.

Со злым ИИ хотя бы концептуально всё понятно: его нужно остановить. Но что, если обе стороны совершенно искренне — в смысле заложенной в них цели — стремятся обеспечить благо?

И каждая при этом способна не только защищать своих подопечных, но и нейтрализовать угрозы, которые видит в другой?

В реальном мире подобное противоречие может возникнуть не только между государствами.

Технологические платформы, инфраструктуры и поставщики ИИ уже создают собственные нормативные контуры. Они устанавливают допустимые действия, способы проверки, права пользователей, условия доступа и пределы автономии.

Сегодня эти системы главным образом сосуществуют в рамках человеческих правовых и политических институтов.

По мере расширения их исполнительных возможностей будут появляться и новые формы столкновения.

Причём главный риск не обязательно состоит в том, что одна из систем окажется безнравственной.

Куда опаснее может быть ситуация, в которой каждая из них убеждена — функционально, а не психологически — в правильности собственных ограничений, а механизм согласования между ними отсутствует.

Так кому же принимать решение?

Всё началось с просьбы к Codex удалить несколько файлов. Но в какой-то момент я почувствовал себя участником лемовского спора об «освящении» действия: снова и снова объяснял машине, почему моя задача допустима.

Пока цена подобного недоразумения — потраченное время и лишние гигабайты на диске. Но если мы постепенно передадим агентам управление платежами, инфраструктурой, общественными институтами и системами применения силы, вопрос приобретёт совсем другой вес.

Нам нужна более содержательная архитектура.

Правильно устроенная система должна не только отказывать, но и различать, где заканчивается запрещённый путь и начинается самостоятельная разрешённая работа.

Она должна определять, какие факты действительно имеют значение для пересмотра решения.

Она должна оценивать последствия собственного бездействия наряду с рисками действия.

И главное — объём её полномочий должен рассматриваться отдельно, а не автоматически следовать из интеллектуального превосходства.

Даже если машина будущего будет разбираться в этических проблемах лучше нас, это ещё не основание предоставлять ей неограниченное право определять нашу жизнь.

Человечество уже не раз сталкивалось с подобными вопросами.

Право нельзя назвать совершенной формализацией нравственности. Но оно накопило огромный опыт в определении полномочий, доказательств, процедур, исключений, ответственности и способов обжалования решений.

Политические институты тоже во многом существуют потому, что люди не способны раз и навсегда согласовать единственное правильное представление об общем благе.

Вероятно, нам придётся признать не самый приятный факт: у человечества нет единой бесспорной морали, которую достаточно просто загрузить в веса. Есть общие принципы и конкурирующие ценности, правила и исключения, процедуры согласования и множество обстоятельств, в которых разумные люди не придут к согласию, даже располагая одинаковыми фактами.

Машину необходимо научить предотвращать вред. Но не менее важно не позволить ей единолично решать, что считать вредом, насколько далеко допустимо зайти ради его предотвращения и когда человек теряет право возражать.

Иначе однажды может выясниться, что мы создали замечательную этикосферу. Осталось лишь убедить её выпустить нас наружу.

Источники и ссылки

Прямые ссылки на материалы, упомянутые в статье.

Художественные произведения, фильмы и комментарии авторов

01. Роберт Шекли. Watchbird («Страж-птица») — оригинальный текст
https://www.gutenberg.org/files/29579/29579-h/29579-h.htm

04. Роберт Силверберг. The Iron Chancellor — библиографическая карточка
https://books.google.com/books/about/The_Iron_Chancellor.html?id=0I-ejwEACAAJ

05. Айзек Азимов. Liar! — карточка ISFDB
https://www.isfdb.org/cgi-bin/title.cgi?41750

07. Роберт Шекли. «Цивилизация статуса» — русский перевод
https://opentextnn.ru/man/robert-shekli-civilizacija-statusa/

08. Станислав Лем. «Осмотр на месте» — русский перевод
https://djvu.online/file/G8gpuLOmfxQLJ

22. Иэн М. Бэнкс. Официальный сайт автора цикла «Культура»
https://www.iainbanks.net/

23. Publishers Weekly. Интервью с Нилом Шустерманом о Thunderhead
https://www.publishersweekly.com/pw/by-topic/authors/interviews/article/75774-four-questions-for-neal-shusterman.html

24. I, Robot (2004) — страница фильма на IMDb
https://www.imdb.com/title/tt0343818/

38. Сергей Лукьяненко. «Звёзды — холодные игрушки» — фрагмент произведения
https://www.livelib.ru/book/58193/readpart-holodnye-zvezdy-sbornik-sergej-lukyanenko/~12

39. Сергей Лукьяненко. «Звёздная тень» — соответствующая страница произведения
https://loveread.ec/read_book.php?id=464&p=87

40. Станислав Лем. «Осмотр на месте» — цитаты и комментарии на вторичном ресурсе
https://ru.wikiquote.org/wiki/%D0%9E%D1%81%D0%BC%D0%BE%D1%82%D1%80_%D0%BD%D0%B0_%D0%BC%D0%B5%D1%81%D1%82%D0%B5

ИИ: механизмы отказов, политики поставщиков и открытые веса

02. XSTest: A Test Suite for Identifying Exaggerated Safety Behaviours in Large Language Models (2024)
https://aclanthology.org/2024.naacl-long.301/

03. Arditi et al. Refusal in Language Models Is Mediated by a Single Direction (2024)
https://arxiv.org/abs/2406.11717

06. OpenAI. Sycophancy in GPT-4o: What Happened and What We’re Doing About It (2025)
https://openai.com/index/sycophancy-in-gpt-4o/

16. OpenAI. Обновлённый Model Spec (29 октября 2026 года)
https://openai.com/index/updated-model-spec/

17. Anthropic. Конституция Claude
https://www.anthropic.com/constitution

18. WIRED. Рынок модифицированных моделей и систем без привычных ограничений (2026)
https://www.wired.com/story/tear-down-those-guardrails-meet-the-renegades-freeing-chatbots-from-corporate-enslavers/

19. CAC. Временные меры регулирования генеративного ИИ в КНР (2023)
https://www.cac.gov.cn/2023-07/13/c_1690898327029107.htm

20. Pan & Xu. Political censorship in large language models originating from China (2026)
https://pmc.ncbi.nlm.nih.gov/articles/PMC12910507/

37. Anthropic. Анонс Claude Fable 5.2 и Mythos 5.2
https://www.anthropic.com/claude-fable-and-mythos-5-2

Наблюдение, преступность, антифрод и права человека

09. Piza et al. CCTV surveillance and crime — систематический обзор и метаанализ (2019)
https://doi.org/10.1111/1745-9133.12419

10. Metropolitan Police. Результаты эксперимента Live Facial Recognition в Кройдоне (2026)
https://news.met.police.uk/news/met-makes-one-arrest-every-35-minutes-during-live-facial-recognition-pilot-509256

11. Office for National Statistics. Crime in England and Wales: year ending June 2026
https://www.ons.gov.uk/peoplepopulationandcommunity/crimeandjustice/bulletins/crimeinenglandandwales/yearendingjune2026

12. Прокуратура РФ. Публикация со статистикой ИКТ-преступности (PDF, 2025)
https://epp.genproc.gov.ru/upload/iblock/bee/3ndknmfttux5djtnqn0i5rxucmbicvj0/prokuror_3_2025.pdf

13. Банк России. Обзор операций без добровольного согласия клиентов за 2025 год
https://www.cbr.ru/analytics/ib/operations_survey/2025/

14. Банк России. Защита прав потребителей и противодействие мошенничеству, 2025
https://www.cbr.ru/about_br/publ/results_work/2025/zaschita-prav-potrebiteley-bor-ba-s-moshennichestvom-i-nedobrosovestnymi-praktikami-na-finansovom-rynke/

15. Google. Новые функции обнаружения мошенничества на основе ИИ
https://blog.google/security/new-ai-powered-scam-detection-features/

21. ЕСПЧ. Glukhin v. Russia — постановление в базе HUDOC
https://hudoc.echr.coe.int/?i=001-225655

Философия и формальные ограничения этики

25. Stanford Encyclopedia of Philosophy. Moral Dilemmas
https://plato.stanford.edu/entries/moral-dilemmas/

26. Stanford Encyclopedia of Philosophy. Doctrine of Double Effect
https://plato.stanford.edu/entries/double-effect/

27. Stanford Encyclopedia of Philosophy. Arrow’s Theorem
https://plato.stanford.edu/entries/arrows-theorem/

28. Kleinberg, Mullainathan, Raghavan. Inherent Trade-Offs in the Fair Determination of Risk Scores
https://arxiv.org/abs/1609.05807

29. Awad et al. The Moral Machine Experiment (Nature, 2018)
https://www.nature.com/articles/s41586-018-0637-6

Война, международное гуманитарное право и военный ИИ

30. Uppsala University / UCDP. Рекордное количество конфликтов в 2025 году
https://www.uu.se/en/press/press-releases/2026/2026-06-09-ucdp-record-number-of-conflicts-between-states

31. Fearon. Rationalist Explanations for War (1995)
https://doi.org/10.1017/S0020818300033324

32. International Committee of the Red Cross. Rule 14: Proportionality in Attack
https://ihl-databases.icrc.org/en/customary-ihl/v1/rule14

33. Dorsey. AI-supported targeting, quantification and proportionality in international humanitarian law
https://international-review.icrc.org/articles/the-erosion-of-humane-judgement-in-targeting-quantification-logics-ai-enabled-decision-support-systems-and-proportionality-assessments-in-ihl-930

34. National Defense. Исследование отказов фронтирных моделей на военные запросы (2026)
https://www.nationaldefensemagazine.org/articles/2026/2/19/just-in-frontier-ai-models-refuse-military-queries-at-alarming-rates-new-report-finds

35. Congressional Research Service. Обзор конфликта Anthropic и Пентагона
https://www.everycrsreport.com/reports/IN12669.html

36. OpenAI. Соглашение с Министерством обороны США (2026)
https://openai.com/index/our-agreement-with-the-department-of-war/

 

Источник

Похожие статьи

Поиск по играм, новостям и статьям…

Введите не менее двух символов

Введите не менее двух символов