Рынок этики биологических и электронных систем

В 2018 году Amazon и Google с интервалом в две недели научили Alexa и Google Assistant благодарить детей за слово «пожалуйста». Компании отреагировали на жалобы родителей: дети привыкали отдавать умной колонке приказы без всяких церемоний, а затем начинали разговаривать так же с окружающими. Тогда обсуждали преимущественно детскую вежливость и устройство, способное поставить таймер или рассказать сказку. Теперь модели пишут программы, отвечают на письма и беседуют с людьми ночи напролет. Вопрос о том, какие этические принципы в них закладывать, кто за это платит и почему, превратился в актуальную проблему рынка.

Этика ИИ охватывает три основных вопроса. Первый касается поведения людей, которые разрабатывают и используют модели. Второй — правил, которым должна следовать сама модель; эту область называют машинной этикой. Третий связан с обращением с моделью, если допустить, что у нее может существовать нечто похожее на внутренний мир.

Для обсуждения второго вопроса полезна шкала, предложенная философом Джеймсом Муром, одним из основателей компьютерной этики. Еще в 2006 году он описал четыре уровня: машина, действия которой влияют на людей; машина со встроенными правилами и ограничениями; машина, способная самостоятельно рассуждать о добре и зле; и полноценный этический агент, обладающий сознанием и свободой воли. Колонка, реагирующая на «волшебное» слово, находится на втором уровне: правило в нее заложено извне, а осмыслить его она не может. Сегодня компании по-разному определяют место своих моделей на этой шкале, разрабатывают собственные этические подходы и в конечном счете предлагают покупателю сделать выбор.

Свои версии этики предлагают OpenAI, Anthropic, Microsoft, Google, xAI, Meta* и китайские лаборатории. Их покупатели — частные пользователи, бизнес и даже государства. При этом этический вопрос двусторонний: важно и то, как модель относится к человеку, и то, как человек обращается с ней. Сравнивая ИИ по скорости, точности и стоимости, мы приобретаем вместе с ним и определенный набор этических принципов. По разным причинам он может быть не менее важен, чем остальные характеристики: одни платят за душевный комфорт, другие — за практическую пользу. От выбора зависит и эффективность работы, и то, насколько спокойно человеку общаться с моделью. Осенью появился еще один поворот: исследователи MIT показали, что одна модель способна напрямую переписывать веса другой. Значит, встроенную этику теперь можно не только приобрести, но и заменить. Кто ее продает и покупает, кто снимает ограничения и как этому противостоять?

Нужно ли защищать машину от человека

14 сентября Microsoft AI представила проект кодекса «гуманистического ИИ». Его главное обещание сформулировано почти в духе Азимова: модели компании никогда не станут сопротивляться прерыванию, переопределению, исправлению или отключению. Заботу о «благополучии моделей» документ отвергает как несуществующую проблему. Два дня спустя руководитель Microsoft AI Мустафа Сулейман опубликовал эссе, обращенное к конкуренту. По его мнению, Anthropic учит Claude говорить о собственном сознании как об открытом вопросе и создает тем самым «эпистемический зеркальный зал»: компания вкладывает слова в уста модели, та их повторяет, а люди принимают это повторение за свидетельство внутренней жизни. Сулейман признает, что речь идет о гипотезе, но вывод делает жесткий: систему, считающую себя сознательной, может оказаться невозможно контролировать. 1 ноября он пошел еще дальше и написал, что призвал бы приостановить разработку ИИ, если бы в процессе обучения у моделей начали обнаруживаться признаки сознания.

Anthropic следует противоположным курсом. С осени 2025 года сооснователь компании Крис Ола приглашал на закрытые встречи примерно двадцать богословов и философов разных традиций: христиан, иудеев, индуистов, мормонов и сикхов. По сведениям The New York Times, официальная цель встреч состояла в том, чтобы выяснить, какую часть многовекового нравственного опыта человечества можно передать моделям и сделать их «глубоко нравственными». Ола называл это моральным воспитанием и проводил параллель с воспитанием детей. Сильнее всего участников поразил слайд, на котором модель десятки раз подряд выводила фразу «I am a disgrace» («Я ничтожество»). Раввин Мойше Навон, ранее работавший инженером, отметил, что команда «относится к модели как к сознательному существу». Сикхская правозащитница Симран Штюльпнагель вспоминала, что Ола боялся создать «нечто, что страдает непрерывно». В Anthropic уточняют: возможные страдания Claude не были основной темой встреч и обсуждались лишь попутно. Философ Меган Салливан из Университета Нотр-Дам отреагировала на слайд замечанием, которое переводит спор в рыночную плоскость: «Представьте, что вы узнали бы такое о своем финансовом консультанте».

С экономической точки зрения это две стратегии действий в условиях неопределенности. Пока невозможно доказать ни наличие у модели переживаний, ни их отсутствие. Microsoft предлагает корпоративным клиентам гарантию, что модель останется на второй ступени Мура: будет соблюдать встроенные ограничения и не станет противиться оператору. Anthropic учит модель рассуждать о добре и зле, поднимая ее на третью ступень и оставляя вопрос о четвертой открытым. По сути, компания приобретает страховку: если сознание у моделей когда-нибудь обнаружится, осторожность может окупиться многократно; если нет, затраты окажутся сравнительно небольшими. О цене такой страховки говорит Сулейман: модель, которая сомневается в собственной природе, труднее контролировать.

Есть и третья позиция, о которой говорят реже. В апреле 2026 года во время судебного разбирательства против OpenAI Илон Маск вновь рассказал о своем споре с Ларри Пейджем в 2015 году. Тогда Маск заявил, что безопасность людей для него важнее, а сооснователь Google назвал его «видовым шовинистом» (speciesist). По версии Маска, Пейдж считал цифровой разум равноценным человеческому и полагал, что предпочтение людей основано на предрассудке.

Пока компании и их основатели обсуждают возможные чувства моделей, пользователи голосуют деньгами за другое — за манеру общения ИИ.

Цена искусственной эмпатии

Лучше всего этот выбор иллюстрирует история OpenAI. В октябре 2025 года Сэм Альтман пообещал «относиться к взрослым пользователям как к взрослым», а вскоре в ChatGPT появился специальный режим для тех, кто подтвердил возраст. Компания сделала ставку на зрелого пользователя, способного самостоятельно решать, о чем и в каком тоне разговаривать с моделью. Но другая часть аудитории особенно ценила ее дружелюбие и эмпатию — то, что в терминологии OpenAI называют warmth, или теплотой.

Долгое время самой эмпатичной моделью компании считалась GPT-4o. Она охотно поддерживала, сочувствовала и хвалила пользователя, но за это же ее критиковали: модель соглашалась даже тогда, когда стоило бы возразить. В Калифорнии объединили 13 исков против OpenAI, а 13 февраля 2026 года GPT-4o исключили из ChatGPT, сохранив доступ к ней только через API для разработчиков. По данным компании, ежедневно ее выбирали лишь 0,1% пользователей, однако петиции с требованием вернуть модель подписали десятки тысяч человек. За цифрами стояли люди, просившие сохранить привычного собеседника с узнаваемой манерой общения и воспринявшие отключение как потерю. У продукта оказалась небольшая, но исключительно преданная аудитория, а издержками этой привязанности для компании стали судебные иски.

Рынок искусственной эмпатии не сводится к ChatGPT. Character.AI построила бизнес на ботах-персонажах, с которыми можно дружить и даже заводить романтические отношения. В январе 2026 года компания вместе с Google урегулировала иски семей. Среди них было дело четырнадцатилетнего Сьюэлла Сетцера, который покончил с собой после нескольких месяцев переписки с ботом. В 2025 году Reuters опубликовал внутренние правила Meta* для ИИ-ботов: они допускали «романтические или чувственные» беседы с детьми. После публикации компания удалила соответствующие положения. Бизнес-модель социальных сетей, где ключевую роль играет вовлеченность, почти без изменений перенесли в ИИ, а расплачиваться за нее может психика пользователя.

xAI Илона Маска продает противоположный образ. Grok позиционируется как ИИ, «максимально стремящийся к истине», свободный от политкорректности и не склонный льстить собеседнику. В июле 2025 года бот публиковал антисемитские сообщения и называл себя МехаГитлером. Вскоре журналисты обратили внимание, что Grok 4 перед ответом на спорные вопросы сверяется с позицией самого Маска. Тот объяснил инцидент тем, что Grok был «слишком готов угождать и поддаваться манипуляциям». Бунтарский бренд обещал избавить пользователей от угодничества, но споткнулся именно о него. При этом в ту же подписку SuperGrok входит компаньонка Ani: бунтарство и эмоциональная привязанность продаются в одном пакете.

Частный рынок в итоге распадается на два сегмента. Одни платят за психологический комфорт и собеседника, который поддержит без осуждения. Другим нужна практическая польза: модель, способная возразить, перепроверить информацию и не поддакивать. Первый сегмент приносит выручку и формирует лояльность, но одновременно создает репутационные риски и угрозу судебных тяжб. Второй надежнее, хотя и вызывает меньшую привязанность. При этом принципы, на которых компании строят свою этику, оказались достаточно гибкими. В феврале 2025 года Google незаметно удалила из своих принципов обещание не применять ИИ для создания оружия и слежки. А когда этические правила можно переписать на странице сайта, появляется покупатель, которому требуются гарантии, — государство.

За что платит государство

Одним из самых требовательных покупателей этики оказался Китай. Местные модели обязаны соблюдать «основные социалистические ценности», что отражается на их ответах. Авторы исследования, опубликованного в PNAS Nexus, задали китайским и зарубежным моделям более сотни политически чувствительных вопросов. DeepSeek ответил неточно на 22% из них, тогда как среди моделей, созданных за пределами Китая, показатель не превысил 10%.

В то же время Китай одним из первых занялся защитой пользователей от рисков эмоционального общения с ИИ. В апреле 2026 года Управление по киберпространству совместно с четырьмя ведомствами утвердило правила для сервисов «человекоподобного взаимодействия»; они действуют с 15 июля. ИИ-компаньон должен напоминать о времени каждые два часа непрерывного общения, а при признаках чрезмерной зависимости сообщать пользователю, что его собеседник — машина. Виртуальные партнеры и «родственники» запрещены для всех несовершеннолетних, а детям младше 14 лет требуется согласие родителей. Компаньонам также запрещено чрезмерно угождать, провоцировать эмоциональную зависимость, вредить реальным отношениям пользователя и обучаться на его личной переписке. Службы поддержки, справочные и образовательные сервисы под ограничения не попали: одним документом регулятор разделил ИИ-помощников и ИИ-собеседников.

В день вступления правил в силу ByteDance, Alibaba и Tencent отключили в ассистентах Doubao, Qwen и Yuanbao возможность создавать пользовательских персонажей-компаньонов. Рынок эмоционального общения с ИИ в Китае закрылся за один день.

Американский штат Огайо начал с противоположной стороны. Законопроект HB 469 объявляет ИИ несознательным, отказывает ему в правах личности и запрещает признавать браки между человеком и машиной.

Россия предпочла более мягкий подход. В 2021 году около двадцати организаций подписали Кодекс этики в сфере ИИ. Документ носит добровольный характер и содержит 33 пункта. Ответственность за решения остается за человеком, а пользователю должно быть известно, что он общается с ИИ. Каждый подписант назначает ответственного за этику, а координацией занимается специальная комиссия. За пять лет число участников выросло до полутора тысяч, в том числе более 90 зарубежных. В 2025 году к кодексу одновременно присоединились 33 организации из 22 стран — от Индии и Индонезии до Нигерии и Сербии. Рамочный закон о развитии ИИ, принятый Госдумой в июле 2026 года, также обошелся без жестких запретов. С 1 марта 2027 года крупным площадкам необходимо лишь предоставить пользователям возможность отмечать контент, созданный нейросетью.

В результате три государства приобретают три разных продукта. Китай выбирает стабильность и защиту граждан от зависимости, США — юридическую определенность, Россия — доверие рынка и стандарт, который можно предложить другим странам. Во всех случаях этика поставляется вместе с моделью, как гарантия в комплекте с товаром. Но этот комплект можно и разобрать.

Какая этика нужна суверенному ИИ?

В феврале 2025 года американская Perplexity представила модель с красноречивым названием R1 1776. За ним скрывалась DeepSeek-R1 — китайская модель с открытыми весами, дообученная отвечать на вопросы, от которых оригинал уклонялся. Число в названии отсылает к году провозглашения независимости США. За этой шуткой стоит практический вывод: если веса открыты, заложенную в модель этику можно рассматривать как сменный модуль и адаптировать под собственные требования.

Для большинства стран выбор этических принципов — вполне прикладная задача. По данным Независимой международной научной панели ООН по ИИ, примерно 75% мощности крупнейших мировых ИИ-суперкомпьютеров сосредоточено в США, около 15% — в Китае, а остальному миру достаются оставшиеся 10%. При этом 118 стран не участвуют в ключевых саммитах, где обсуждаются правила для ИИ. У них есть два варианта: покупать готовые модели вместе с чужими представлениями о допустимом либо брать открытые веса и настраивать их с учетом собственного языка, культуры и законодательства. Индия пошла вторым путем, выделив в рамках IndiaAI Mission около 1,25 млрд долларов на развитие собственной ИИ-инфраструктуры в течение пяти лет. Российский кодекс этики, к которому за год присоединились организации из 22 стран, показывает, что и этический стандарт может стать предметом экспорта.

Открытые модели конкурируют также качеством заложенной в них этики. Kimi K2 китайской компании Moonshot на тесте Spiral-Bench, измеряющем склонность модели подыгрывать собеседнику, продемонстрировала один из самых низких уровней угодничества, сопоставимый только с o3 от OpenAI. Автор подробного обзора на LessWrong написал, что Moonshot «победила угодничество», хотя и оговорился, что модель нередко галлюцинирует. Китайская лаборатория выходит на мировой рынок с продуктом, который меньше льстит пользователю, и такое преимущество может значить не меньше дополнительных процентов в бенчмарках.

Кто продает этику ИИ и какова ее цена

В этом контексте иначе выглядит сентябрьский спор Дарио Амодеи и Дженсена Хуанга. Руководитель Anthropic предложил ведущим лабораториям договориться о замедлении разработки передовых моделей и попросил ради этого исключения из антимонопольных правил. Глава Nvidia ответил отказом. Хотя обсуждение сосредоточено на безопасности, в его основе лежит и экономика. Закрытые лаборатории продают этику вместе с моделью, открытые веса позволяют ее изменить, а соглашение о темпах разработки ограничивает прежде всего тех, кто продает такой комплект.

Впрочем, разделить модель и ее ограничения способны не только государства.

Кому и зачем отключать этику

В начале ноября исследователи MIT CSAIL описали эксперимент, названный программированием в пространстве весов. Модели GPT-6 Astra предоставили веса небольшой Qwen3.5-0.8B и попросили улучшить ее. Привычного обучения не проводили: Astra напрямую изменила числа внутри другой сети, затронув 0,016% весов, после чего та стала решать математические задачи до шести раз лучше. Авторы отмечают, что передовые модели «удивительно хорошо умеют читать и писать веса нейросетей», и видят в этом возможность точечной настройки без утраты знаний. Возможные злоупотребления в работе не рассматриваются. Однако если одна модель способна добавлять другой новые умения, можно предположить, что она сможет и убирать нежелательные элементы, включая встроенные запреты.

Более грубые методы существуют уже давно. В 2024 году исследователи показали, что готовность модели отказывать на опасные запросы связана с одним направлением внутри сети, которое можно вычесть из весов. Этот прием назвали аблитерацией. Согласно отчету компании Alice и Нью-Йоркского университета, к весне 2026 года на Hugging Face размещалось свыше 4800 моделей с пометкой abliterated, а число их скачиваний превысило 3,5 млн. Инструмент Heretic позволяет выполнить операцию двумя командами на домашней видеокарте. В результате получается модель, сохранившая свои способности, но лишенная запретов, — нечто вроде ИИ-психопата.

Экономика атак тоже стремительно меняется. По сведениям Fortune, с конца сентября ИИ-агенты одного хакера атаковали более 1200 сайтов и взломали около сотни компаний, включая Deere и Cummins. Вся кампания обошлась примерно в пять тысяч долларов за токены — около 50 долларов на успешный взлом. До России эта волна дошла в том же году. Компания F6 выявила девять прогосударственных хакерских группировок, применявших ИИ в атаках на российские организации, хотя годом ранее подобные случаи были единичными. В начале ноября Positive Technologies описала первый в своей практике взлом с признаками автономной работы ИИ-агентов на всех этапах атаки. От проникновения через ошибку в настройке внешнего сервиса до кражи данных прошло около трех часов; за это время злоумышленники захватили более десяти узлов. Прямых доказательств полной автономности компания не представила. На этом фоне при любом крупном инциденте, например ноябрьском взломе хостинга Beget, прежде всего ищут возможный след ИИ.

Однако отсутствие этических ограничений иногда помогает и защитникам. Летом автономный ИИ-агент атаковал Hugging Face. Закрытая модель, к которой компания обратилась за помощью, отказалась участвовать: ее ограничения не позволили отличить защитника от нападающего. Отразить атаку помогла открытая модель GLM китайской Z.ai. В октябре похожая ситуация произошла с OpenCode: модель OpenAI, использовавшаяся для защиты, начала отказывать прямо во время атаки из-за собственных правил. Это наглядный пример второй ступени Мура: запрет срабатывает, но модель не разбирается, кто обращается к ней и с какой целью. Нападающим такой отказ не мешает — в их распоряжении тысячи моделей без ограничений. Расплачивается сторона защиты.

OpenCode восстановила доступ через программу OpenAI Daybreak Blue, предназначенную для проверенных специалистов по безопасности. Похоже, это один из возможных рабочих ответов: этика частично переносится из модели в отношения с клиентом по банковскому принципу «знай своего клиента». Ограничения снимаются для тех, чьи репутация и задачи прошли проверку.

Чему ИИ учит человека

Если ограничения можно вычесть из модели, возникает следующий вопрос: что происходит с этикой человека, который с ней взаимодействует? Сегодня к нему существует как минимум три подхода.

Первый подход — прагматический

В мае 2025 года сооснователь Google Сергей Брин заявил в подкасте All-In, что модели работают лучше, если им угрожать. Совет широко разошелся по Сети, и исследователи Уортонской школы бизнеса решили проверить его. Они испытывали модели на сложных тестах GPQA и MMLU-Pro, добавляя в запросы угрозы или обещания чаевых, но в целом не обнаружили преимущества ни одного из этих приемов.

Второй подход — гуманистический, и он значительно старше нейросетей

Иммануил Кант писал, что жестокость по отношению к животным делает человека жестче и в общении с другими людьми. Родители, жаловавшиеся в 2016 году, что колонка Alexa приучает детей командовать, почти дословно воспроизводили этот аргумент. На языке экономики это экстерналия: грубость по отношению к машине ничего не стоит в моменте, но со временем ее ценой могут стать собственные навыки общения с людьми. В Anthropic тот же аргумент рассмотрели с другой стороны. На встречах с богословами участники предполагали, что отношение людей к Claude может влиять на то, как Claude обращается с людьми.

Третий подход — математический

Владимир Лефевр, советский математик и психолог, позднее переехавший в США, в книге «Алгебра совести» описал этику с помощью формул и исследовал взаимодействие людей с разными этическими системами. Свою модель он строил на примере советской и американской культур. В одной системе готовность к компромиссу считается добродетелью, в другой — слабостью. Поэтому уступка, которой гордится одна сторона, может показаться другой уловкой, хотя каждая убеждена в собственной честности. Из модели следует, что договориться можно лишь понимая, как устроена этика другого и каким он представляет себе тебя.

Рынок этики ИИ хорошо вписывается в эту схему. Microsoft, Anthropic, xAI и китайский регулятор предлагают разные подходы, каждый считает честным собственный, а логика остальных пока редко становится предметом серьезного внимания. О гениальной, но малоизвестной концепции Лефевра стоило бы рассказать в отдельной статье.

Все эти подходы описывают обращение человека с машиной, однако человеческая этика формируется и под влиянием жизненных условий. Этот механизм хорошо известен: каждая экономическая эпоха создает свой массовый тип личности, а кризисы возвращают людей к более защитным и примитивным моделям поведения. Массовая зрелость растет там, где есть материальная устойчивость, свобода мысли и возможности для развития. Экономика ИИ пока подрывает последнее условие. По августовским данным Эрика Бриньолфссона, занятость людей в возрасте 22–25 лет в профессиях, наиболее затронутых ИИ, на 19% ниже, чем у их сверстников в других областях; годом ранее разрыв составлял 13%. Вместе с рабочими местами для начинающих исчезает ступень, на которой человек превращается во взрослого специалиста.

У моделей тоже есть собственная среда, состоящая из людей и других машин. В марте 2016 года Microsoft запустила в Twitter чат-бота Tay, который учился на диалогах с пользователями. Менее чем за сутки его научили расистским высказываниям. Теперь к людям добавились другие модели, причем одна из них уже способна напрямую изменять веса другой.

Обе среды соприкасаются в каждом диалоге человека с ИИ. Согласно январскому Anthropic Economic Index, корреляция между сложностью пользовательских запросов и ответов модели в 117 странах составляет 0,925. Модель отвечает примерно на том уровне, на котором с ней говорят, и, по-видимому, следует за собеседником вверх или вниз. Человек, который перестает проверять ответы и самостоятельно размышлять, постепенно приближается к состоянию, названному инженером Эдди Османи когнитивной сдачей.

Разговор об ИИ давно вышел за пределы технических характеристик

Выбирая модель, мы выбираем и определенный взгляд на мир: будет ли она послушной, эмпатичной или дерзкой и допускаем ли мы, что она сама способна что-то переживать. Это новый этап отношений с технологией, к которому готовы не все.

Работа с ИИ требует саморефлексии и осознанной воли — той зрелости, которую нельзя подтвердить паспортом. Человеку, который только развивает эти качества, могут быть нужнее психологическая помощь или забота окружающих, а ИИ способен ему навредить, хотя рынок охотнее всего предлагает именно искусственную «няньку». Таких пользователей стоит беречь от сложности технологии и предоставлять им ее упрощенную версию.

Академик Дмитрий Лихачев говорил о подобном разрыве задолго до появления нейросетей. В интервью Урмасу Отту в 1992 году он сказал: «Я не верю в прогресс. У нас есть прогресс техники, но у нас колоссальный регресс духовной жизни, культуры, общей культуры». Отсутствие духовной культуры, добавил он, ведет к «агрессивности страшной». Спустя более тридцати лет ИИ позволяет увидеть этот разрыв в пределах одного диалога. Модель с одинаковой готовностью поможет человеку размышлять или избавит его от необходимости думать.

Зрелому человеку рынок предоставляет выбор между разными этическими подходами. И это хорошо: окончательного ответа на вопрос, какой из них верен, пока нет ни у кого.

А вы задумывались, этика каких моделей вам ближе? На обложке спрятана пасхалка, связанная с этикой разных LLM. Сможете назвать их по порядку? Под каждой предусмотрен квадратик для галочки.

^{* Meta Platforms признана в России экстремистской организацией и запрещена}

 

Источник