Проблема вагонетки и ещё семь дилемм, которые предстоит решить до повсеместного внедрения ИИ
Представим: у беспилотного автомобиля отказали тормоза. На его пути пешеход, справа — бетонное ограждение, столкновение с которым может стоить пассажиру жизни, слева — встречная машина. Какой маневр должен выбрать автомобиль?
Так обычно описывают этическую дилемму автопилота: кого следует спасти, а кем придется пожертвовать. Но реальный автомобиль, разумеется, не видит перед собой готовых обозначений «один пешеход» и «два пассажира». Он получает неполную информацию с камер и радаров, оценивает вероятности и действует по правилам, установленным задолго до аварии. Кто-то заранее определил целевую функцию, допустимый уровень риска, доступные маневры, способ контроля водителя и условия допуска системы на дорогу.
Юридические споры давно вышли за рамки транспорта. Суды и комиссии рассматривали ошибку чат-бота Air Canada, алгоритмическую оценку арендаторов SafeRent, закрытую скоринговую систему COMPAS, государственные системы SyRI и Robodebt. Не все из них можно назвать ИИ в современном полном смысле. Однако во всех случаях компьютерному результату придавали значительную власть, а человеку было сложно понять его или оспорить.
В этой статье я разбираю восемь правовых и нравственных коллизий, которые предстоит разрешить до повсеместного внедрения ИИ в сферах, связанных с жизнью, здоровьем, свободой, жильем, работой, кредитованием и государственной поддержкой. Даже если система в среднем точнее человека, остаются вопросы: кто определяет ее цель, кто отвечает за ошибку и как пострадавшему ее доказать?
Важное уточнение! Я не предлагаю готовых решений этих коллизий: у меня их просто нет. Моя задача — показать, какие проблемы существуют сегодня и как разные правовые системы решали их раньше или пытаются решить сейчас.

Влад Лукашенко
Head of SEO & веб-аналитики в «Тензоре» (разработчик saby.ru), автор телеграм-канала «ВладПРО»
Более 10 лет я занимаюсь аналитикой, SEO и управлением командами в digital-маркетинге. В своем телеграм-канале и на сайте рассказываю о практическом маркетинге. Консультирую по аналитике веб-проектов и настройке маркетинговых инструментов, помогаю проводить технические собеседования специалистов по различным источникам трафика.
Как выбирать между неизбежными потерями
Противоречие возникает между стремлением свести общий вред к минимуму и обязанностью одинаково защищать каждого человека. В примере с автомобилем спасение пассажира перекладывает риск на пешехода, а спасение большинства предполагает сознательное направление опасности на меньшинство. Ситуацию осложняет то, что машина не знает исхода заранее, а лишь сопоставляет вероятности. Минимизация общего вреда допускает жертву отдельного человека. А настройка «всегда спасать владельца» фактически позволяет купить приоритет собственной жизни.
Современное регулирование, разумеется, старается не составлять перечень допустимых жертв. Немецкая комиссия по этике автоматизированного вождения предложила не ранжировать людей по личным признакам в своем официальном отчете. Британский проект принципов безопасности 2026 года требует сокращать общий вред и не создавать несоразмерного риска для отдельных групп — материалы консультации Department for Transport.
Иными словами, право рассчитано на миллионы поездок и работает с большими масштабами. Оно может требовать, чтобы автомобиль заблаговременно снижал скорость, точнее распознавал людей и не попадал в обстоятельства, при которых остается только выбирать жертву.
Та же проблема возникает в медицине, системе социальных выплат и кредитовании. Любая целевая функция распределяет риск. Поэтому разработчик не должен единолично определять, что считать успехом системы. Для высокорискового ИИ цель, допустимые потери и запрещенные критерии следует закреплять в публичных правилах.
Вопрос читателю. Купили бы вы автомобиль, который обязан одинаково ценить жизнь пассажира и пешехода, если однажды это равенство может оказаться не в вашу пользу?
Может ли организация отмежеваться от решения собственного ИИ

Коллизия возникает, когда организация считает результат работы ИИ частью своей услуги, пока он выгоден, но после ошибки пытается представить систему самостоятельным субъектом. При этом пользователь взаимодействует не с независимым ИИ, а с авиакомпанией, банком, больницей или государственным учреждением.
В деле Moffatt v. Air Canada чат-бот неправильно разъяснил клиенту условия получения льготного тарифа. Авиакомпания попыталась отделить его ответ от остальных сведений на своем сайте. Трибунал не согласился: компания сама разместила инструмент и отвечала за достоверность его сообщений. Организация извлекает пользу из автоматизации и предлагает клиенту доверять результату. Поэтому ошибка системы остается ошибкой в услуге, даже если конкретный ответ написал не сотрудник.
Похожий спор рассматривался в деле Louis v. SafeRent. Поставщик алгоритмического скоринга утверждал, что окончательное решение о сдаче жилья принимает собственник. Истцы и Министерство юстиции США отмечали, что арендодатель не мог изменить алгоритм и на практике полагался на его оценку — позиция Министерства юстиции. Дело завершилось соглашением без признания нарушения, поэтому оно не доказывает вину SafeRent. Тем не менее спор показывает: название «рекомендация» не обязательно освобождает от ответственности, если система фактически определяет итог. При этом важно, что виновная сторона в данном деле не была установлена.
В обоих случаях организация или поставщик пытались отделить себя от автоматического результата. С правовой точки зрения важно не то, назван результат решением или рекомендацией, а то, кто действительно контролировал инструмент и предлагал людям на него полагаться.
Для пострадавшего первым адресатом претензии должна оставаться организация, которая включила ИИ в свою услугу. Впоследствии она может предъявить требования разработчику. Устройство внутренней цепочки не должно лишать клиента понятного ответчика.
Вопрос читателю. Вправе ли компания считать ответ ИИ своим, когда он приносит прибыль, и чужим, когда он причиняет вред?
Как распределить ответственность в технической цепочке

Здесь сталкиваются право пострадавшего на одного понятного ответчика и необходимость справедливо распределить вину между участниками технической цепочки. На одно решение могут влиять разработчик модели, поставщик данных, заказчик, оператор, владелец устройства, сервисная служба и автоматическое обновление. Заранее определить единственного виновного сложно. Но еще хуже — заставлять пострадавшего самостоятельно разбираться со всеми участниками.
Сегодня формируется несколько подходов. В США системы помощи водителю второго уровня требуют его постоянного контроля, хотя производитель также отвечает за дефекты и недостаточные предупреждения. NHTSA отдельно регулирует вопросы безопасности и отчетности об авариях — обзор NHTSA.
В Великобритании появилась конструкция authorized self-driving entity. Согласно Automated Vehicles Act 2024, такая организация отвечает за соответствие допущенной системы установленным требованиям. Режим вводится постепенно, поэтому правоприменительная практика еще складывается.
В Европейском союзе AI Act распределяет обязанности между участниками цепочки высокорисковой системы, а Директива 2024/2853 распространяет ответственность за дефектную продукцию на программное обеспечение.
Российский проект 2026 года о высокоавтоматизированном транспорте распределяет обязанности между изготовителем, разработчиком, владельцем, сервисной организацией и оператором дистанционной поддержки — публикация Минтранса. Обсуждается порядок, при котором владелец сначала возмещает вред, а затем предъявляет требование фактическому виновнику (описание модели). Пока речь идет о законопроекте.
Все эти модели по-разному подходят к одной проблеме. В США возможна одновременная ответственность водителя и производителя, в Великобритании заранее назначается ответственная организация, а российский проект отделяет первоначальную выплату потерпевшему от последующего установления виновного звена.
Наиболее практичной представляется двухуровневая система. Сначала конкретная организация или страховщик выплачивает компенсацию пострадавшему. Затем профессиональные участники распределяют убытки на основании логов, договоров и выявленных нарушений. Выплата не должна откладываться до завершения спора о каждой строке кода.
Вопрос читателю. Кто должен платить первым: разработчик, организация, применившая систему, или последний участник цепочки управления?
Когда человеческий контроль становится формальностью

Противоречие возникает, когда человек формально отвечает за решение, но практически не может на него повлиять. После длительной автоматической поездки у водителя может остаться лишь несколько секунд на вмешательство. Врач видит готовую рекомендацию, но не знает, какие данные использовала модель. Сотрудник банка подтверждает оценку риска, которую не имеет права изменить.
Последнее действие совершает человек, но фактически решение уже принято без него.
Мадлен Клэр Элиш назвала такую ситуацию «моральной зоной деформации»: ближайший к системе человек принимает на себя вину, хотя не контролирует ее устройство — Moral Crumple Zones.
Показательный пример — авария Tesla в Маунтин-Вью в 2018 году. NTSB связал гибель водителя с сочетанием ограничений автопилота, отсутствия вмешательства, недостаточного контроля внимания водителя и состояния дорожного ограждения (материалы расследования). Водитель был обязан следить за дорогой, однако производителю тоже следует учитывать предсказуемое снижение внимания при продолжительной автоматизированной езде.
В деле Benavides v. Tesla присяжные во Флориде возложили 33 процента ответственности на Tesla, а остальную часть — на водителя. Это решение по конкретному делу, но оно показывает, что водитель и производитель могут отвечать одновременно.
В делах Tesla противоречие проявилось в двойном требовании: водитель должен контролировать систему, а система должна быть устроена так, чтобы такой контроль был возможен. Нельзя ожидать постоянной готовности к вмешательству и одновременно создавать режим, который приучает человека не участвовать в управлении.
В деле State v. Loomis суд допустил ограниченное использование закрытого скоринга COMPAS при назначении наказания, но потребовал учитывать ограничения системы — решение Верховного суда Висконсина. В австралийской системе Robodebt автоматическое начисление долгов перекладывало на граждан обязанность опровергать расчет. Королевская комиссия рекомендовала раскрывать факт применения автоматизации и обеспечивать содержательный пересмотр решений (итоговый отчет).
Человеческий контроль реален только тогда, когда человек понимает систему, видит необходимые данные, располагает временем и вправе отменить результат. Если эти условия не соблюдены, решение следует считать автоматизированным, а ответственность возлагать на организацию, выстроившую процесс.
Вопрос читателю. Можно ли возлагать ответственность на человека за решение, которое он подтвердил, но не мог понять или изменить?
Кто обязан доказывать ошибку системы

Коллизия возникает, когда пострадавший обязан доказать ошибку, а все необходимые доказательства контролирует ответчик. Модель, логи и версия программы находятся у потенциального ответчика. Возникает замкнутый круг: чтобы получить доступ к данным, нужно обосновать наличие ошибки, а чтобы обосновать ошибку, нужны эти данные.
В деле Loomis закрытость COMPAS ограничивала возможность проверить расчет риска. В Нидерландах государство не раскрыло суду модель и показатели системы SyRI. Суд Гааги признал соответствующее регулирование несовместимым с правом на частную жизнь из-за недостаточной прозрачности и возможности проверки (разъяснение суда).
В делах Loomis и SyRI проблема проявилась сходным образом: результат системы использовали против человека, но проверить ее мог лишь владелец. Формальное распределение бремени доказывания давало преимущество стороне, контролирующей технологию.
Высокорисковая система должна сохранять входные данные, версию модели, настройки, обновления, результат и сведения о вмешательстве человека. Суду и регулятору необходим контролируемый доступ к этим материалам. Если организация не сохранила обязательный лог, процессуальный риск должен нести не пострадавший, а она сама.
При этом сам по себе исходный код редко дает понятное объяснение. Инженеру нужен отчет для поиска дефекта, суду — установление причинной связи, а человеку — основания для обжалования. Регулирование должно разграничивать эти три задачи.
Вопрос читателю. Должна ли компания получать преимущество из-за недоказанности дефекта, если все доказательства находились только у нее?
Допустимо ли повышать точность ценой неравного обращения

Здесь сталкиваются повышение средней точности и право отдельных групп на равное обращение. Система может в целом ошибаться реже, но при этом чаще ошибаться в отношении конкретной группы. Для этого ей необязательно напрямую учитывать расу, пол или инвалидность: соответствующие признаки можно косвенно восстановить по району проживания, кредитной истории, языку или занятости.
Исследование Gender Shades обнаружило существенные различия в точности коммерческих систем классификации пола для разных групп. В медицине алгоритм, изученный Зиадом Обермейером и соавторами, использовал расходы как приблизительный показатель потребности в лечении. Поскольку при одинаковом состоянии здоровья на чернокожих пациентов исторически тратили меньше, модель занижала их потребность в дополнительной помощи — исследование в Science.
В первом примере перекос был связан с данными и качеством распознавания. Во втором система точно оптимизировала неверно выбранный показатель. Поэтому одной общей метрики недостаточно.
В этих примерах улучшение общего показателя скрывает неравномерное распределение его цены. По средней метрике система считается успешной, тогда как конкретная группа сталкивается с большим числом отказов или получает меньше медицинской помощи.
Полный запрет на использование чувствительных признаков тоже создает проблемы: без них невозможно измерить неравенство результатов. Разумнее запретить применять их для ухудшения решений, но разрешить в защищенном контуре аудита.
Высокорисковый ИИ необходимо проверять отдельно по затрагиваемым группам как до внедрения, так и после обновлений. У человека должна быть возможность сообщить об индивидуальных обстоятельствах и добиться пересмотра. Если поставщик контролирует расчет, а организация применяет его к людям, ответственность может лежать на обеих сторонах.
Вопрос читателю. Можно ли назвать систему справедливой, если в среднем она точнее, но чаще ошибается в отношении одной группы?
Возможна ли безопасность без постоянного наблюдения

Коллизия возникает между необходимостью сохранять данные для безопасности и доказывания и правом человека на частную жизнь. Автомобиль записывает дорогу и направление взгляда водителя, больница хранит историю лечения, государство объединяет реестры. Чем полнее запись, тем легче восстановить обстоятельства решения и тем глубже вмешательство в частную жизнь.
Согласие в таких ситуациях нередко формально. Пешеход не выбирает, попадать ли в объектив автомобильной камеры. Пациент не может отказаться от обработки данных, если иначе не получит лечение. Гражданин не выбирает государственную систему выплат.
В деле SyRI государство обосновывало объединение данных борьбой с мошенничеством, тогда как суд увидел несоразмерное и непрозрачное вмешательство в частную жизнь. В Robodebt использование данных упростило массовое предъявление требований, но не обеспечило справедливости индивидуальных расчетов. Польза автоматизации и масштаб наблюдения в этих случаях росли одновременно.
Статья 22 GDPR защищает человека от ряда решений, основанных исключительно на автоматизированной обработке и имеющих существенные последствия. Однако формальное подтверждение сотрудника может вывести процесс из этой категории, не обеспечив реальной проверки.
Практический принцип можно выразить так: достаточно для доказывания, но недостаточно для слежки. Подробные логи следует хранить ограниченный срок и, по возможности, локально. Данные для безопасности, обучения, рекламы и дисциплинарного контроля необходимо разделять. При инциденте суд сохраняет нужную запись, а остальные данные удаляются по истечении установленного срока.
Вопрос читателю. Какой частью частной жизни мы готовы поступиться ради возможности восстановить каждое решение ИИ?
Кто несет ответственность сегодня
Универсального ответа — «всегда водитель» или «всегда производитель» — не существует. Для потерпевшего наиболее удобна модель, при которой организация или страховщик выплачивает компенсацию сразу. Затем участники цепочки распределяют убыток, выясняя, допустил ли разработчик дефект, нарушил ли владелец условия применения и пропустила ли сервисная служба неисправность.
Что еще предстоит решить
Прежде чем высокорисковый ИИ получит повсеместное распространение, необходимы семь правил:
-
Публичное определение цели системы и запрещенных способов ее достижения.
-
Заблаговременное назначение платежеспособного субъекта ответственности.
-
Быстрая компенсация пострадавшему с последующим регрессным требованием к виновному звену.
-
Обязательное ведение логов решений, версий системы и вмешательств человека.
-
Признание человеческого контроля только при реальной возможности изменить результат.
-
Проверка не только средней точности, но и распределения ошибок между группами.
-
Ограничение целей использования данных и сроков их хранения.
Алгоритм способен рассчитать многое, но определение цели расчета, права применять его к человеку и порядка ответственности остается общественным выбором. Главная трудность сегодня в том, что люди и организации все чаще принимают решения с помощью машин, но перестают считать эти решения своими.
Каждый день мы общаемся со всем багажом знаний человечества. Но становимся ли от этого умнее?
AlphaGenome 2: как глубокое обучение раскрывает механизмы регуляции генов и развития болезней
Как добиться десятикратного ускорения A* в условиях пробок
«Селдон»: как я обучала модель предсказывать войны и девальвации без подсказок из будущего
Когда ИИ решает, что вам запрещено: от Codex до этикосферы Станислава Лема
OpenAI увеличивает число бесплатных подписок для учёных до 200 тысяч, но теперь предлагает ChatGPT Plus
Колебания чёрных дыр помогут с высокой точностью проверить теорию относительности
Миниатюрные роботы смогут кувыркаться в сосудах и помогать растворять тромбы