Боевые роботы, которые сами выбирают и уничтожают цели — уже реальность, хоть и с отличиями от научной фантастики. Недавно в ООН упустили «историческую возможность» ограничить их применение.
C 13 по 17 декабря в Женеве прошла шестая конференция по рассмотрению Конвенции о «негуманном» оружии. На ней государства-участники, в частности, пытались прийти к соглашению по поводу использования «роботов-убийц». Так в СМИ прозвали относительно новый класс боевой техники — «смертоносные автономные системы» (САС), оснащённые средствами идентификации лиц и искусственным интеллектом.
При упоминании «роботов-убийц» воображение обычно рисует фантастические устройства вроде Терминатора, но речь о более «приземлённых» системах, которые используются уже сейчас. Это танки и самоходные боевые машины, беспилотники, дроны и ракеты, которые самостоятельно принимают решения о том, когда нанести удар и выполняют различные боевые задачи без участия человека. И далеко не всем нравится, что автономное оружие принимает участие в боевых действиях.
Возможность запрета «роботов-убийц» в декабре 2021 года называли исторической, но стороны так ни к чему не пришли. TJ рассказывает, как против автономного оружия ополчились организации и некоторые страны, в чём опасность техники под управлением ИИ и почему Россия и США вместе выступили против запрета.
Почему все обсуждают боевых роботов
В международном законодательстве о производстве и распространении оружия пока нет определения самоуправляемой боевой техники. Производители роботов и их клиенты (преимущественно военные ведомства и спецслужбы разных государств) фактически могут использовать самоуправляемое оружие без ограничений.
В 2012 году общественные и правозащитные организации обратили внимание на ситуацию правового вакуума и начали кампанию против нового оружия.
В протестах участвуют международные и региональные общественные организации: они выступают за полный запрет производства и распространения автономного летального оружия. Кампанию ведут «Институт будущего жизни» Илона Маска и Stop Killer Robots, основанная в 2012 году.
На момент выхода статьи протест поддержали порядка 200 НКО, в том числе «Международный комитет красного креста», Amnesty International и Human Rights Watch, и всего одна российская — столичный исследовательский центр «Этика & технологии». TJ обратился к организации за комментарием, но пока не получил ответа.
Петиции против нового оружия подписали исследователи искусственного интеллекта и представители IT-компаний, в том числе один из инициаторов кампании Илон Маск, учёный Стивен Хокинг, соучредитель Apple Стив Возняк.
Ситуация вызвала международный резонанс в 2017 году — САС впервые обсуждали в ООН, где в 2016 году создали международную группу экспертов. Вторая встреча состоялась в апреле 2018 года, а третье — в августе, на съезде стран, подписавших конвенцию «О запрете конкретных видов оружия».
Российский МИД тогда заявил, что реально действующих образцов такой техники не существует, а искусственный интеллект не способен участвовать в боевых действиях. На заседании ООН Россия выступала против законодательного запрета, и его отклонили.
На наш взгляд, международное право (в том числе его гуманитарная отрасль) полностью применимо к САС, и не нуждается в модернизации или адаптации под такие пока ещё не существующие системы вооружений.
представитель МИД РФ
Страны-участницы съезда согласились, что реальных образцов САС пока не существует. Однако политики по меньшей мере лукавят, считает военный эксперт Вадим Козюлин.
Для упрощения дискуссии участники согласились считать, что в мире пока не созданы САС. Это было сделано, чтобы не затрагивать интересы стран, уже имеющих высокоавтоматизированные или полуавтономные и прочие подобные системы.
Вадим Козюлин
профессор Академии военных наук, заведующий Центром глобальных исследований и международных отношений ИАМП Дипломатической академии МИД России
При этом в 2018 году было широко известно как минимум о двух российских аппаратах с автоматизированными системами, писал «Коммерсантъ».
Роботизированный комплекс для поиска подводных мин и решения боевых задач «Галтель». Подлодку испытали в Сирии.
Система радиоэлектронной разведки и боя «Былина», способная самостоятельно анализировать ситуацию и при необходимости подавлять сигналы предполагаемого противника.
Несмотря на неудачу, акции протеста продолжились. В октябре 2018 года к кампании присоединилась Google, заявившая, что сотрудничество с Пентагоном не сочетается с принципами использования искусственного интеллекта. В корпорации отказались участвовать в конкурсе ведомства на 10 миллиардов долларов поле массовой обеспокоенности сотрудников. Главные претензии обращались к проекту Maven: министерство обороны США хотело с помощью Google улучшить искусственный интеллект боевых дронов.
Что случится, если «роботы-убийцы» выйдут из-под контроля, документальный фильм Future of Life Institute
Рассуждая о необходимости запрета автономного оружия, противники боевых машин и военные эксперты указывают на несовершенство искусственного интеллекта, который с трудом различает военнослужащих и мирных жителей («нонкомбатантов» в международном праве). Например, ошибки систем связи, распознавания лиц или тепловых сигнатур могут обернуться гибелью безоружных людей.
Не всегда можно понять, на что действительно способны некоторые из них [роботов]. В частности, что станут делать системы в случае потери связи в процессе боевых действий, а это происходит постоянно. Так, Израиль ранее производил дроны-камикадзе, способные атаковать самостоятельно, без участия оператора. Под давлением общественности производитель изменил модель управления этими беспилотниками. Сегодня он заявляет, что беспилотники работают по команде оператора. Но достоверно убедиться в этом почти невозможно.
Вадим Козюлин
профессор Академии военных наук, заведующий Центром глобальных исследований и международных отношений ИАМП Дипломатической академии МИД России
Кроме того, распространение автономных роботов ускорит гонку вооружений и приведёт к эскалации вооружённых конфликтов, отмечают в Human Rights Watch. Организация заявила, что «роботы-убийцы» обесценивают человеческие жизни.
Роботам не хватает сострадания, сочувствия, милосердия и рассудительности, необходимых для гуманного обращения с людьми. Они не понимают внутреннюю ценность человеческой жизни.
Human Rights Watch
международная правозащитная организация
Накануне декабрьского заседания в Женеве со слов активистов стало известно, что запрет на производство и использование опасных роботов поддержали в 60 из 125 стран, подписавших международную конвенцию «О запрете конкретных видов оружия», наносящих чрезмерный урон: Новая Зеландия, Германия, Австрия, Норвегия, Нидерланды, Пакистан, Китай, Испания и 55 стран Африканского союза. Для сравнения, в 2018 году запрет САС поддержали 26 государств.
14 декабря генеральный секретарь ООН Антониу Гутерриш призвал международное сообщество разработать новые правила использования автономных роботизированных систем.
Какую именно технику предлагают запретить
Кулуарные споры о «роботах-убийцах» ведутся в Комиссии по разоружению ООН более восьми лет, но в 2021 году международное сообщество обсуждало конкретные модели боевых машин. В частности, самый распространённый на сегодня вид роботов — автономные дроны со скорострельным оружием. Их производят в США, Южной Корее, Турции, Китае и многих других странах.
Самоуправляемые дроны выполняют боевые задачи без участия человека, руководствуясь только алгоритмами и доступными данными. За годы, пока политики спорили о запрете «роботов-убийц», машины научились следить за дезертирами на поле боя, выводить из строя технику противника, находить и устранять определённых людей (по фотографиям, тепловым сигнатурам и геолокации).
Автономные дроны используют преимущественно в армиях государств-экспортёров этого оружия. Их заметили в зонах боевых действий и локальных войн. Последний официально подтверждённый случай применения роботов, по данным Совбеза ООН, произошёл в мае 2020 года: самоуправляемые дроны Kargu-2 турецкой компании STM заметили в Ливии, где идёт гражданская война.
Осенью 2020 года предположительно турецкие беспилотники заметили в арсенале войск Азербайджана во время вооружённого конфликта в Нагорном Карабахе, отмечает The Washington Post. 27 ноября 2020 года бот «Моссада» совершил убийство иранского учёного Мохсена Фахризаде, писала New York Times. Кроме того, известно, что Китай поставлял дроны с возможностью автономной атаки в Пакистан.
По оценке агентства MarktetsandMarkets, объём мирового рынка боевых дронов (в том числе полуавтоматических и автономных) в 2021 году превышает 14 миллиардов долларов. По прогнозу компании, к 2030 году этот показатель будет равен 32 миллиардам долларов.
Разработки таких роботов ведутся в Бразилии, Китае, Франции, Германии, Индии, Индонезии, Японии, Южной Корее, России, Великобритании, США и Австралии. По данным компании, крупнейшие производители боевых дронов — американские компании Northrop Grumman, Lockheed Martin, Boeing; AeroVironment, General Atomics. Все перечисленные производители выпускают САС.
Kargu-2 и его аналоги просты в производстве и внешне мало отличаются от устройств, которые продаются в магазинах компьютерной техники. При этом боевой дрон обладает продвинутым искусственным интеллектом и летальным оружием.
Презентация STM Kargu на Youtube: автономный дрон выполняет боевые задачи
Технические характеристики делают автономные дроны подходящим инструментом для совершения преступлений, рассказал CNBC Макс Тегмарк, профессор Массачусетского технологического института и сторонник полного запрета роботов.
Учёный предположил, что дроны могут использовать террористы или преступные группы для совершения массовых убийств или акций адресного терроризма, например, для устранения судей или политиков.
Это оружие понравятся практически всем желающим кого-то убить. «Робот-убийца» сможет сам убить любого, кто кого-то разозлит.
Макс Тегмарк
астрофизик, профессор Массачусетского технологического института
Использование автономных дронов обсуждают в военно-политическом блоке НАТО. Право распоряжаться человеческой жизнью, которое получат «роботы-убийцы», рассуждают военные.
Разрешение на убийство людей, отданное машине, подрывает ценность человеческой жизни. Человеческая жизнь, если рассуждать с этих позиций, имеет настолько значительную ценность, что машинам неуместно когда-либо принимать решение о её прекращении — иными словами, в разработке и использовании автономных дронов есть что-то очень аморальное по своей сути.Даже если такие системы оружия смогут различать комбатантов и некомбатантов, все еще остаётся вопрос, сумеет ли автономный дрон оценить соразмерность атаки, то есть причинит ли атака нежелательные страдания.
представители НАТО
«Полный провал»
17 декабря, в последний день международной встречи в Женеве, представители США, России, Великобритании, Индии и Израиля отклонили законодательный запрет.
Представители России заявили, что решения об ограничениях должны приниматься единогласно, а США назвала запрет избыточным, отметив, что существующих международных законов достаточно для контроля за автономным оружием, фактически повторно озвучив позицию российского МИДа, озвученную в 2018 году.
Джошуа Доросин, представитель США, накануне предлагал партнёрам альтернативну полного запрета: необязательный этический кодекс для использования роботов. Противники «роботов-убийц» назвали эту идею попыткой затянуть решение вопроса, а сложившуюся ситуацию в целом оценили как тупиковую.
почётный профессор робототехники и искусственного интеллекта в Университете Шеффилда
Участники конференции пообещали вернуться к обсуждению автономного оружия в будущем и рассмотреть решения, приемлемые для всех, не уточняя, о каких сроках и решениях идёт речь.
