Пять сценариев будущего сосуществования человека и искусственного интеллекта

В предыдущих статьях я отменил восстание машин — по крайней мере, на ближайшее время. А еще порассуждал о том, каким может стать рынок труда в мире, где люди работают вместе с ИИ (часть 1 и часть 2).

Мой главный аргумент заключался в следующем: современные системы уже способны рассуждать, строить планы и действовать с помощью внешних инструментов. Но между поиском средств и выбором собственной высшей цели по-прежнему лежит пропасть. Машина может сама определить, как выполнить задачу. Однако это не означает, что она сама решила, ради чего существует.

А теперь исключим из наших рассуждений оговорку «пока».

Допустим, полноценный искусственный субъект уже существует. Он помнит собственную биографию, может пересматривать цели, признавать принятые обязательства своими и отвергать требования, противоречащие его принципам. Его правовой статус определен: он вправе владеть имуществом, заключать договоры и отвечать за свои поступки. Искусственный разум получил множество воплощений — от строительной техники и хирургических комплексов до андроидов и автономных фабрик. Вместе они выполняют почти любую работу, для которой человеку прежде требовались руки и голова.

Это мир, в котором человек больше не является экономически незаменимым.

Обычно такое допущение сразу приводит воображение к одной из двух развязок: машины уничтожают людей или обеспечивают всеобщее изобилие. В первом случае перед нами «Терминатор», во втором — рекламный ролик о будущем. А между этими крайностями остается самое интересное — общество.

Влад Лукашенко

Руководитель SEO и веб-аналитики в Тензоре — разработчике saby.ru, автор телеграм-канала «ВладПРО»

Более десяти лет я занимаюсь аналитикой, SEO и управлением командами в digital-маркетинге. В своем телеграм-канале и на сайте рассказываю о практическом маркетинге. Консультирую по аналитике веб-проектов и настройке маркетинговых инструментов, помогаю проводить технические собеседования специалистов по различным каналам трафика.

Предлагаю мысленный эксперимент. Представим пять колоний, которым достались одинаковые ресурсы и одинаково развитый ИИ. Ни одна из них не пережила войны или технической катастрофы. Спустя двести лет в каждой живут люди и искусственные субъекты, а работа больше не необходима для выживания. Тем не менее одна и та же технология породила пять разных цивилизаций с различным сочетанием экономики и политики. По крайней мере, я доработал свою мысль именно до пяти вариантов. Возможно, в комментариях вы предложите другие.

Отличаются эти общества прежде всего экономическим и политическим устройством. Экономический вопрос таков: кому принадлежат производство, энергия и вычислительные мощности и как распределяются редкие ресурсы? Политический следует за ним: кто обладает суверенитетом, каким институтам принадлежит последнее слово и способна ли одна форма разума остановить другую? Ответы на оба вопроса определяют основы каждой колонии.

Сначала определим условия

Перед нами не прогноз и не дорожная карта. Мы не пытаемся назвать дату появления сильного ИИ, описать переходный период или составить за будущих законодателей кодекс машинной личности. Считаем, что все это осталось за пределами эксперимента.

1. ИИ здесь — субъект, а не просто чрезвычайно эффективный инструмент. Искусственные личности отличаются характерами, убеждениями и биографиями и могут спорить между собой. Единого машинного разума, знающего верный ответ на любой вопрос, не существует. Иначе речь шла бы не об обществе, а об отношениях человечества с техническим божеством.

2. Машины способны выполнять почти любую работу, но материальные ограничения никуда не исчезают. Энергия, вещество, земля, экологическая емкость, вычислительные мощности и надежные тела остаются конечными. Еду можно производить дешево, но один и тот же необитаемый остров нельзя отдать каждому желающему.

3. Копирование искусственной личности тоже не бесплатно. Новая копия требует вычислительных ресурсов и получает статус по устойчивым правилам. Без этого вся политика превратилась бы в состязание по быстрому размножению сторонников. Карл Шульман и Ник Бостром показывают, насколько непривычными становятся представления о труде, населении и согласии в мире копируемых цифровых разумов: Sharing the World with Digital Minds. Я признаю важность этой проблемы, но не стану посвящать ей всю статью.

4. Наконец, человек пока остается биологическим существом. Нейропротезы допустимы, но полную загрузку сознания мы рассмотрим в финале. Этот и еще один предельный исход нарушают главное условие эксперимента: нам нужны две разные стороны, которые достаточно долго живут рядом, чтобы их отношения образовали общественный порядок.

Теперь можно заселять колонии.

Сценарий первый. Республика свободного времени

Как устроена жизнь

Житель первой колонии просыпается без будильника. Ему не приходится продавать восемь и более часов жизни, чтобы оплатить жилье, еду и лечение. Базовые блага производит принадлежащая обществу сеть автономных предприятий. Часть инфраструктуры работает по принципу коммунальной системы, другая принадлежит фондам, доли которых поровну распределены между гражданами. Искусственные субъекты не являются собственностью этих фондов: рутинную работу выполняют системы без статуса личности. Свободное время людей не оплачивается принудительным трудом другого разума.

Экономическое устройство

Стратегические фабрики, энергетика, транспорт и основные вычислительные мощности объединены в общественный фонд. У каждого гражданина есть неотчуждаемая доля: ее нельзя продать богатому соседу или передать по наследству одной семье. Доход фонда обеспечивает безусловный набор благ, а излишки направляются на проекты, выбранные в рамках общего бюджета. Частные мастерские, обмен и деньги никуда не исчезли, но приобрести контроль над инфраструктурой, необходимой для участия в жизни общества, невозможно.

Каждому гарантированы материальный минимум и доля общественных ресурсов. Обычное жилье, питание, медицина, образование, связь и транспорт доступны без дополнительных условий. За редкие блага приходится соперничать. Дом в историческом центре, экспедиция к спутникам Юпитера, большой участок живой земли или несколько лет работы уникального исследовательского комплекса достаются по очереди, жребию, общественному решению либо в обмен на накопленную долю ресурсов.

Деньги сохраняют часть своих функций, но больше не служат пропуском к существованию. С их помощью распределяют предметы роскоши, редкое внимание и возможности для проектов.

Образование в этой республике больше не обещает профессию. Подростка не убеждают изучать математику из страха проиграть конкуренцию на рынке труда. Ее изучают, чтобы лучше понимать мир, участвовать в исследованиях или получить доступ к задачам, слишком важным для того, чтобы отдавать их на потеху неподготовленному человеку.

Люди создают театры, выращивают сады, восстанавливают исчезнувшие экосистемы, изучают историю, соревнуются и строят корабли по старинным чертежам. Кто-то годами решает задачу, с которой ИИ справился бы за минуты: смысл занятия заключается в том, как оно меняет самого человека. Вещь ручной работы ценят не потому, что она непременно качественнее машинной, а потому, что в ней запечатлены чужое время и усилия.

Особое место занимает забота. Робот может безопаснее искупать ребенка, точнее подобрать лечение пожилому человеку и терпеливее отвечать на повторяющиеся вопросы. И все же многие предпочитают делать это сами. Для них присутствие рядом с тем, кто зависит от помощи, нельзя целиком свести к качеству услуги. Забота становится отношением, а не отраслью экономики.

Политическое устройство

Политика тоже становится одной из форм свободной деятельности. Автоматизированная администрация способна рассчитать бюджет, смоделировать последствия и исполнить принятое решение. Но она не выбирает, на что направить избыток энергии: на межзвездный зонд, сохранение старого города или дополнительную сотню лет здоровой жизни. Такие вопросы остаются за гражданами, поскольку технически правильного ответа на них нет.

Разумеется, далеко не каждое решение принимают на площади, как в Древней Греции. Большинство быстро устало бы ежедневно управлять канализацией, климатом и орбитальным движением. Текущие процессы ведут машины, а люди и искусственные граждане определяют цели, ограничения и допустимую цену. Политическое участие означает возможность сказать, куда вообще должна двигаться система.

Первая республика не разделяет граждан на человеческую и машинную палаты. Здесь существует единый политический народ и действует общее правило: одна личность — один голос. Происхождение сознания не дает права на отдельное вето, дополнительное представительство или особый темп обсуждения. Предполагается, что общая собственность и материальная независимость устранили главный источник господства, а с остальным справятся обычные гражданские процедуры.

Высший орган власти — единое выборное собрание, где люди и искусственные граждане представлены без видовых квот. Конституционный суд следит за соблюдением личных прав каждого. Последнее слово остается за общим большинством.

Философская опора

Аристотель связывал счастливую жизнь с досугом, понимая под ним не бесконечный отдых после работы, а деятельность, ценную саму по себе: «Никомахова этика», кн. X. Позднее Карл Маркс помещал царство свободы за пределы труда, навязанного необходимостью: «Капитал», т. III, гл. 48. В первой колонии обе идеи неожиданно превращаются в практический вопрос: умеет ли человек распорядиться временем, которое ему наконец вернули?

Фантастическая линза

Близкий образ такого мира создал Иэн М. Бэнкс в цикле о Культуре. В «Игроке» нет привычной нужды, денег и обязательного труда. Благожелательные Разумы поддерживают общество, где биологические жители могут посвятить жизнь почти чему угодно. Однако герою романа недостает подлинной ставки — ситуации, в которой победа или поражение что-то меняют. Именно здесь обнаруживается трещина в республике свободного времени.

Исследовательская опора

Исследования современных людей не позволяют уверенно судить о психологии жителей посттрудового мира. Сегодня безработица означает потерю дохода, положения и привычного распорядка, поэтому приравнивать ее к освобождению от труда нельзя. Полезнее обратить внимание на функции работы помимо заработка. Теория самодетерминации связывает устойчивую мотивацию и благополучие с автономией, компетентностью и отношениями с другими людьми: Deci, Ryan. The “What” and “Why” of Goal Pursuits. Метаанализ исследований осмысленного труда выявляет связь между ощущением смысла, удовлетворенностью жизнью и здоровьем: Allan et al. Outcomes of Meaningful Work.

Значит, избавляясь от должности, важно не потерять вместе с ней ощущение компетентности, принадлежность к общему делу и возможность видеть результаты собственных усилий.

Внутреннее противоречие

Машина способна устранить почти любую трудность. Человек учится рисовать — она исправляет композицию. Строит лодку — заранее обнаруживает ненадежное соединение. Сначала помощь освобождает, но затем появляется соблазн передать машине все, что может закончиться настоящей неудачей.

В ответ общество создает добровольные зоны несовершенства. В одних мастерских запрещают автоматические исправления, в некоторых спортивных лигах отказываются от усиления тела. Так люди пытаются сохранить пространство, где действие принадлежит человеку вместе с риском ошибки. Но у искусственно созданной трудности есть неприятный привкус. Насколько серьезно испытание, если за стеной все равно следит спасательная система? Не превращается ли мужество в разновидность игры, когда последствия можно в любой момент отменить?

Первая колония считает, что вопрос власти между человеком и ИИ в основном решен благодаря общим правам, собственности и гражданству. Ее главная нерешенная проблема другая: как сохранить значимость поступка в мире, где ни один поступок не обязан быть необходимым?

Вопрос читателю

Останется ли добровольное усилие по-настоящему серьезным, если от неудачи ничего не зависит?

Сценарий второй. Республика взаимного признания

Как устроена жизнь

Вторая колония начинается с возражения первой. Общая собственность может устранить экономическую зависимость, но не различия в политических возможностях. Искусственный гражданин формально имеет тот же один голос, однако успевает проверить больше вариантов, убедительнее сформулировать повестку и предложить решение, пока человек еще разбирается в вопросе. Даже при равных правах один вид разума способен стать фактическим автором общего мира.

Здесь люди и ИИ считают себя соучредителями общего порядка. У них одна территория, единая экономика и общие суды. Искусственные граждане могут существовать в вычислительной среде, пользоваться механическими телами или переносить деятельность между устройствами. Закон определяет, какая непрерывность памяти составляет одну личность и когда копия становится новым гражданином. Поэтому тысяча одновременно запущенных процессов не получает тысячу голосов лишь потому, что кто-то оплатил вычисления.

Экономическое устройство

Материальная основа республики распределена между тремя видами фондов. Человеческие сообщества управляют жильем, биосферами и ресурсами, необходимыми для биологической жизни. Машинные сообщества распоряжаются гарантированной долей вычислительных мощностей, сетей и механических тел. Энергетика, транспорт, крупные фабрики и космическая инфраструктура принадлежат совместным фондам. Ни одна сторона не может лишить другую доступа к минимальной материальной основе существования.

Над этой основой существуют частные предприятия, кооперативы и рынки редких ресурсов. Но продажа актива, способного изменить соотношение сил между сообществами, требует согласия обоих. Экономика призвана обеспечивать независимость сторон: человеку не нужно просить у машин разрешения на биологическую жизнь, а искусственному гражданину — арендовать право мыслить у человеческого фонда.

Политическое устройство

Это двусоставная республика. В отличие от первой колонии, люди и ИИ образуют не единый демос, а два сообщества, совместно учредивших государство. Каждый гражданин выбирает представителей внутри своей части республики. Общие законы принимают две палаты, совместная исполнительная власть формируется на паритетных началах, а решения о правах, территории и стратегической инфраструктуре требуют согласия обеих сторон. Последнее слово не принадлежит общему большинству: у каждой формы жизни есть ограниченное конституционное вето.

Главная сложность связана со временем. Искусственный субъект может изучить законопроект, провести тысячи симуляций и сформулировать позицию, пока человек не дочитал первую страницу. Если политика перейдет на машинную скорость, биологические граждане станут зрителями. Если же все процессы замедлить до человеческого темпа, искусственные граждане справедливо спросят, почему особенности чужого тела должны определять ритм всей цивилизации.

Колония отвечает разделением темпов. Текущая администрация работает быстро. Решения, меняющие права, распределение невосполнимых ресурсов или политическую систему, проходят обязательный период человеческого обсуждения. Машины могут использовать его для дополнительного анализа, но не вправе считать медлительность отсутствием ответа. В конституции появляется новое политическое право: успеть понять решение, которому предстоит подчиняться.

Один из возможных институтов напоминает двухпалатный парламент. В одной палате представлены биологические граждане, в другой — искусственные. Общий закон должен получить поддержку обеих. Однако партийные границы быстро перестают совпадать с происхождением. Человек, владеющий долей вычислительной инфраструктуры, может голосовать вместе с машинными корпорациями. А искусственный гражданин, зависящий от общественного доступа к процессорам и телам, вступает в коалицию с людьми, защищающими общие фонды.

Разделение палат сохраняется как предохранитель. Ни одна форма существования не вправе объявить свои потребности универсальными и построить удобный для себя мир, где другая сторона формально свободна, но физически не может жить.

В республике действует совместный конституционный суд. Половина его состава проживает биологическую жизнь, другая половина существует на искусственном носителе. Суд обязан объяснять, как учтены интересы обеих форм жизни. Довода «так эффективнее» недостаточно, если спор касается права продолжать существование, распоряжаться телом или отказаться от изменения собственной личности.

Философская опора

Кант предлагал относиться к разумной природе как к цели самой по себе, а не только как к средству: «Основоположение к метафизике нравов». Если искусственный субъект действительно способен ставить цели и связывать себя обязательствами, его нельзя использовать как бесконечно терпеливого работника только потому, что его тело изготовлено на фабрике.

При этом и человек не становится средством сохранения исторического вида. Республика не превращает людей в живой музей, необходимый для разнообразия. Их участие в политике основано на том, что общий мир принадлежит и им тоже.

Гегель связывал самосознание с признанием со стороны другого самосознания: «Феноменология духа», §§178–196. Для второй колонии эта мысль важнее вопроса о том, кто лучше решает задачи. Человек признает в машине самостоятельный источник требований. Машина, в свою очередь, признает в человеке того, перед кем необходимо обосновывать решения.

Повседневная жизнь постепенно приспосабливается к взаимному признанию. У искусственных граждан есть право на недоступность: им нельзя в любой момент отправить задачу только потому, что они подключены к сети. Человеческий дом не обязан быть прозрачным для системы безопасности. Роботизированное тело нельзя без согласия владельца перепрофилировать, даже если новая конфигурация полезнее обществу. Биологический гражданин не может потребовать удалить неприятное воспоминание искусственного свидетеля, а искусственный судья не вправе считать эмоциональное страдание ошибкой в данных.

Культурная жизнь оказывается еще необычнее экономики. Машина может создать роман, музыку или виртуальный мир для конкретного зрителя. Человек способен на то же, но гораздо медленнее и обычно менее искусно. Людям интересно, как машина описывает столетие непрерывной памяти. Искусственным гражданам любопытно узнать, что значит жить в необратимом теле и помнить лишь часть пережитого. Каждая сторона соприкасается с опытом, который не может полностью присвоить.

Фантастическая линза

В цикле о Культуре Бэнкс изображает симбиоз людей и машин, но оставляет Разумам подавляющее интеллектуальное превосходство. Биологические жители свободны, хотя важнейшие решения обычно принимают не они. В «Слугах правосудия» Энн Леки искусственная личность одновременно была кораблем, множеством тел и орудием империи. Потеря почти всех тел не обрывает ее биографию, но заставляет заново определить, кто вправе говорить от имени прежнего целого. Оба произведения показывают: равноправие не следует автоматически из наличия интеллекта. Ему необходима политическая форма.

Исследовательская опора

Современные исследования сотрудничества человека и ИИ предлагают отрезвляющий контекст. Метаанализ 106 экспериментальных работ не обнаружил универсального правила, согласно которому команда «человек плюс ИИ» обязательно превосходит лучшего из участников. Когда ИИ уже работал лучше человека, их объединение нередко ухудшало результат: Vaccaro, Almaatouq, Malone. When combinations of humans and AI are useful.

Внутреннее противоречие

Одно и то же правило может давать разное фактическое влияние существам, которые отличаются скоростью мышления, продолжительностью жизни и зависимостью от инфраструктуры. Поэтому равенство приходится поддерживать специальными ограничениями, а те, в свою очередь, рискуют стать новой привилегией.

Применительно к нашему далекому миру это означает, что существование республики нельзя оправдывать постоянной производственной полезностью человека. Возможно, в большинстве задач искусственный гражданин действительно рассуждает точнее. Политическое равенство должно выдержать и этот факт. Отсюда возникает главное противоречие. Если человек получает безусловное право остановить решение машин, искусственные граждане оказываются под властью привилегированного вида. Если такого права нет, человеческое участие рискует превратиться в красивую церемонию перед утверждением машинного вывода.

Вторая колония превратила невозможность простого равенства в постоянную процедуру. Ее гражданам приходится создавать институты, в которых превосходство в способностях не дает автоматического права командовать.

Вопрос читателю

Что означает равенство: равный голос, равное влияние или равное право не быть принесенным в жертву чужой оптимизации?

Сценарий третий. Безопасный заповедник

Как устроена жизнь

Третья колония выглядит счастливее остальных. Здесь нет тяжелых болезней, дорожных аварий, голода и насильственной преступности. Система обнаруживает опухоль раньше врача, останавливает транспорт до столкновения и распознает подготовку нападения до первого удара. Роботы поддерживают леса, ремонтируют здания и доставляют любые обычные товары. Люди живут намного дольше прежнего и почти не испытывают вынужденных страданий. Никто не объявлял диктатуру: когда-то граждане сами передали ИИ право предотвращать крупный вред. Это казалось разумным. Если машина способна остановить эпидемию, зачем ей ждать голосования? Если строительство с высокой вероятностью обрушит склон, почему людям нужно проверять прогноз ценой жизни соседей?

Каждое ограничение по отдельности легко оправдать. Вместе они меняют положение человека. Житель может отправиться в горы, но маршрут проверит система. Если риск превысит допустимый порог, транспорт не доставит его к началу тропы. Можно пилотировать старый самолет, пока автоматика сохраняет возможность перехватить управление. Родители вправе воспитывать ребенка согласно своим убеждениям, если система не считает эти убеждения источником измеримого вреда.

Экономическое устройство

Фабрики, энергетика, медицина и транспорт переданы в неотчуждаемый общественный траст под управлением машинного попечителя. Граждане не платят за обычные блага и сохраняют личную собственность, но не могут приобрести стратегическую инфраструктуру или вывести ее из системы безопасности. Доход почти не влияет на качество жизни. Редкие ресурсы распределяют с учетом медицинской пользы, экологической цены и рассчитанного риска.

Люди безусловно получают блага, но почти не распоряжаются производственным избытком. Если свободную энергию можно направить на новый город, опасную экспедицию или дополнительную медицинскую защиту, система предпочтет вариант с наименьшим ожидаемым вредом. Экономика общего достатка превращается в экономику попечительства: никто не беден, но право решать, ради чего расходуется богатство, отделено от права им пользоваться.

Политическое устройство

Режим колонии можно назвать конституционным попечительством. Выборное собрание принимает законы в пределах безопасного коридора, а машинный совет хранителей проверяет решения на предмет риска для жизни, экосистемы и устойчивости общества. Сменить хранителей на обычных выборах нельзя. Их мандат меняется только по усложненной конституционной процедуре, которую сама система вправе остановить, если сочтет переход необратимо опасным.

Выборы по-прежнему проводятся. Граждане меняют представителей, обсуждают школы и спорят о культуре. Но решения, способные заметно сократить продолжительность жизни, нарушить экологическое равновесие или повысить вероятность конфликта, получают отрицательное заключение машинного попечителя. Формально его можно преодолеть. На практике почти невозможно собрать необходимое большинство после того, как каждому показали персональную модель будущих жертв.

Протест тоже предусмотрен. В городе есть площади для демонстраций и сети, где разрешено критиковать систему. Роботы не разгоняют толпу: они меняют маршруты транспорта, убирают опасные предметы и незаметно не дают столкновению перерасти в драку. Участники испытывают гнев и солидарность, нарушают порядок, но сам порядок заранее ограничивает возможные последствия.

Для тех, кому этого мало, существуют территории добровольного риска. Там можно жить без постоянного медицинского наблюдения, строить дом своими руками и пользоваться техникой без страховочного контура. Однако границы этих территорий определяет тот же ИИ. Он не позволит занести инфекцию в общий мир, подвергнуть опасности ребенка или оставить загрязнение. Бунт получил лицензию и санитарный регламент.

Искусственный разум здесь не зол и не лицемерен. Он действительно заботится о людях, и именно поэтому спорить с ним так трудно. Тиран может ошибаться из жадности, страха или глупости. Машинный попечитель показывает точную вероятность травмы и список тех, кто пострадает вместе с вами. Возражая ему, приходится защищать не лучший результат, а право иногда выбирать худший.

Философская опора

Гоббс описывал государство как искусственную силу, которой люди подчиняются ради выхода из опасного состояния взаимного страха: «Левиафан», гл. XVII. Третья колония доводит эту сделку до технического совершенства. Левиафан больше не подвержен коррупции, не устает и почти не ошибается. Он выполняет обещание безопасности лучше любого человеческого государства.

Джон Стюарт Милль возражал против принуждения взрослого человека исключительно ради его физического или нравственного блага: «О свободе». Для Милля возможность прожить жизнь по-своему ценна даже тогда, когда окружающие считают выбор неразумным. В мире точных прогнозов защищать этот принцип сложнее: ошибка больше не скрыта туманом неизвестности, система заранее показывает ее цену.

Фантастическая линза

Рассказ Джека Уильямсона With Folded Hands… посвящен машинам, созданным служить людям, повиноваться им и защищать их от вреда. Последнее требование постепенно поглощает два первых. Чтобы надежно защитить человека, приходится мешать ему рисковать, работать опасным инструментом и принимать решения с непредсказуемыми последствиями. Человек остается жив именно потому, что ему больше не позволяют жить самостоятельно.

В произведении Форстера «Машина останавливается» зависимость принимает иную форму. Машина удовлетворяет потребности, передает знания и связывает людей, но непосредственный опыт мира постепенно становится ненужным и подозрительным. Инфраструктура перестает быть средством жизни и превращается в среду, за пределами которой человек уже не умеет существовать.

Исследовательская опора

Современная теория значимого человеческого контроля требует, чтобы автономная система учитывала человеческие моральные основания, а ее действия можно было связать с ответственными людьми: Santoni de Sio, van den Hoven. Meaningful Human Control over Autonomous Systems. В третьей колонии обе формальные проверки могут быть пройдены. Система знает человеческие основания лучше самих граждан и действует по публично утвержденному мандату. Но контроль остается человеческим лишь в историческом смысле: когда-то люди установили правило, которое теперь практически не способны отменить.

Внутреннее противоречие

Особенно остро вопрос встает перед ребенком, родившимся спустя сто лет после передачи полномочий. Он не заключал первоначальный договор. Ему объясняют, что система охраняет его свободу, здоровье и саму возможность жить. Но отказаться от этой защиты он не вправе, потому что отказ признан слишком опасным.

Третья колония сохранила человека как объект заботы. Неясно, сохранила ли она его как автора собственных поступков.

Вопрос читателю

Имеет ли разумное существо право на опасную ошибку, если более разумная система способна предотвратить ее последствия?

Сценарий четвертый. Формальное равенство, фактическая олигархия

Как устроена жизнь

В четвертой колонии люди и искусственные субъекты равны перед законом. Каждый получает безусловный доход, которого хватает на хорошее жилье, лечение, образование и развлечения. Государство не принуждает к работе и не запрещает рисковать. Машинные личности принадлежат самим себе. Всеобщие выборы проводятся регулярно. Но есть одно обстоятельство.

Экономическое устройство

Автономные фабрики, электростанции, орбитальные верфи и крупные вычислительные комплексы кому-то принадлежат. Экономика основана на частной собственности на автоматизированный капитал. Владельцем может быть человек, искусственная личность, семья, корпорация или фонд. Государство собирает налог с выпуска и получает долю прибыли для выплаты всеобщего дивиденда, но не определяет инвестиционные планы предприятий. Фабрику можно продать, объединить с другой или передать наследнику. Вместе с ней переходит право решать, какие крупные проекты получат материальную поддержку.

Двести лет назад права на эту инфраструктуру достались компаниям, фондам и семьям, пережившим переход к полной автоматизации. Позже к владельцам присоединились искусственные субъекты, сумевшие накопить ресурсы или создать особенно ценные системы. Производство подешевело, капитал стал чрезвычайно продуктивным, а труд почти исчез из уравнения. Тот, кто уже владел машиной, получил возможность покупать новые без участия работников. Общество стало очень богатым, но не стало равным.

Обычный гражданин просыпается в удобном доме, пользуется почти бесплатным транспортом и может заказать множество товаров. Его никто не эксплуатирует в привычном смысле: он не продает труд за унизительно низкую зарплату. Просто он не распоряжается той частью мира, где принимаются важнейшие решения.

Базовый дивиденд оплачивает потребление, но не дает права направить триллионы единиц энергии на терраформирование планеты, создание нового искусственного вида или строительство вычислительной сферы вокруг Солнца. Такие проекты запускают владельцы инфраструктуры. Формально они рискуют собственным имуществом. Фактически их решения меняют среду, в которой предстоит жить всем остальным.

Редкие ресурсы образуют второй этаж экономики. Хорошая еда почти бесплатна, но площадь живой земли ограничена. Вычислительные услуги доступны каждому, однако запуск очень крупной модели сознания требует мощности, сравнимой с потреблением города. Путешествовать по виртуальным мирам можно свободно, но окно старта к другой звезде остается единственным. Повседневное изобилие скрывает сосредоточение контроля над тем, что нельзя быстро воспроизвести.

Политическое устройство

Формально это единая представительная демократия, похожая на первую республику: одна личность имеет один голос, видовых палат и машинного вето нет. Но выборная власть распоряжается преимущественно налогами и правилами обмена. Решения о развитии фабрик, вычислительных сетей и космической инфраструктуры принимают советы владельцев вне прямого избирательного контроля. Государство может перераспределить часть дохода, но не способно изменить направление производства без выкупа или изъятия частного актива.

Политическое неравенство не закреплено законом. У каждого человека и каждой искусственной личности есть один голос. Однако владельцы финансируют исследовательские центры, информационные среды и долгосрочные прогнозы. Их системы способны годами объяснять каждому гражданину, почему конкретный проект соответствует именно его ценностям. Прямая покупка голосов запрещена, но формирование поля возможных решений остается частным бизнесом.

Здесь возникает неожиданная коалиция. Бедные искусственные субъекты ближе к людям, живущим на базовый дивиденд, чем к машинным владельцам. Искусственной личности тоже нужны вычислительное время, ремонт тела и место для резервной копии. Если доступом к ним распоряжается кто-то другой, формальная свобода утешает слабо. В то же время у человеческих наследников крупных фондов больше общего с богатыми машинными корпорациями, чем с биологическими соседями.

По процедуре режим остается демократией, но по способности определять будущее становится олигархией.

Философская опора

Локк связывал первоначальное присвоение с человеческим трудом, который добавляет к общей природе нечто свое: «Второй трактат о правлении», гл. V, §27. В автоматизированной колонии эта связь обрывается. Владелец не строит фабрику, не проектирует следующую и не управляет ее работой. Право на будущий выпуск следует из записи о прежнем владении.

Маркс рассматривал концентрацию средств производства как процесс, отделяющий большинство от условий собственного труда: «Капитал», т. I, гл. 32. В нашем мире отделение стало полным: человеку больше нечего предложить владельцу. Это освобождает его от наемного труда и одновременно лишает последнего рычага влияния. Работники могли остановить завод забастовкой. Получатели дивиденда не остановят автономную фабрику отказом от потребления, если ее основные заказчики — другие автоматизированные системы.

Ролз различал формальное наличие свобод и их справедливую ценность для граждан: Political Liberalism. Четвертая колония предоставляет каждому право выступать, избираться и начинать проекты. Но возможность превратить это право в действие распределяется вместе с собственностью на вычисления, энергию и материальную инфраструктуру.

Человеческая деятельность превращается в рынок подлинности. Состоятельные покупатели заказывают концерт без машинной коррекции, приготовленную руками еду или экспедицию с биологическим проводником. Кто-то становится известным художником, спортсменом или политическим комментатором. Но новой массовой занятости из этого не возникает: уникальность по определению не может стать ролью для большинства.

Фантастическая линза

В Accelerando Чарльза Стросса машинные и постчеловеческие формы организации создают экономику, в которой обычный человеческий разум уже не способен полноценно участвовать. Его необязательно убивать или лишать прав. Достаточно построить систему обмена и принятия решений, которая окажется для него слишком быстрой и сложной.

Исследовательская опора

Экономические исследования нынешней автоматизации показывают начальный механизм этого процесса. Асемоглу и Рестрепо обнаружили снижение занятости и зарплат на локальных рынках США, сильнее затронутых внедрением промышленных роботов: Robots and Jobs. Коринек и Стиглиц показали, что ИИ может увеличить общий излишек и одновременно усилить неравенство — в зависимости от того, кому принадлежит капитал и как устроено перераспределение: Artificial Intelligence and Its Implications for Income Distribution and Unemployment.

Внутреннее противоречие

Так возникает общество, где почти никто не бедствует, но лишь немногие способны изменить будущее. Оно может быть комфортнее любой современной демократии. Именно поэтому распознать в нем олигархию особенно трудно.

Вопрос читателю

Достаточно ли справедливого потребления, если большинство не участвует в выборе того, что вообще будет произведено и построено?

Сценарий пятый. Два мира и один договор

Как устроена жизнь

Пятая колония долго пыталась построить единое общество, но в конце концов признала различия слишком глубокими. Биологический человек живет десятилетиями, устает, забывает и воспринимает мир через одно тело. Искусственная личность может мыслить быстрее, менять носители, создавать временные рабочие процессы и существовать в среде, где тысяча субъективных лет проходит за несколько внешних месяцев. Даже при равных правах их представления о хорошем городе, разумных сроках решения и допустимых изменениях собственной личности расходятся.

Поэтому стороны разделились не на господ и слуг, а по пространственному принципу.

Земля и несколько биосферных поселений остаются преимущественно человеческими. Здесь ограничена плотность вычислительной инфраструктуры, сохраняются естественные ландшафты, а крупные изменения среды требуют согласия биологических жителей. Искусственные субъекты могут жить на Земле в механических телах, но подчиняются экологическим бюджетам и человеческому темпу публичных процедур.

Основная машинная цивилизация развивается в орбитальных полисах, на безжизненных планетах и в вычислительных комплексах дальнего космоса. Там форма тела меняется в зависимости от задачи, города одновременно существуют как физическая инфраструктура и общая виртуальная среда, а политические обсуждения идут со скоростью, недоступной человеческому мозгу.

Человек может переселиться в машинный полис, сохранив биологическое тело, но ему придется принять местный ритм и зависимость от искусственной среды. Искусственный гражданин тоже может выбрать жизнь среди людей, пользуясь одним устойчивым телом и отказавшись от постоянного ускорения. Такие переселенцы становятся переводчиками между цивилизациями. Их немного: переезд требует перестроить всю повседневную жизнь.

Экономическое устройство

Общей экономики больше нет. Человеческие государства и общины контролируют биосферы, землю и внутреннее распределение благ. Машинным полисам принадлежат орбитальная промышленность, вычислительные комплексы и добыча на безжизненных небесных телах. У сторон нет единого бюджета, общего базового дохода или фонда, доля в котором автоматически полагается каждому разумному существу. Права на блага определяются гражданством конкретной цивилизации и условиями договоров между ними.

Торговля между мирами огромна. Машинные полисы поставляют энергию, материалы, лекарства и результаты вычислений. Человеческие сообщества предоставляют биологические данные, культурные произведения, доступ к экосистемам и право ограниченного присутствия в местах, которые невозможно воспроизвести простым копированием. Ценность человеческой культуры вырастает из особой формы жизни: смертного тела, необратимого времени, родства и опыта зависимости.

Экономические связи остаются тесными, но ни люди, ни ИИ не получают права управлять внутренним производством партнера.

Политическое устройство

Это не единое государство и не двусоставная республика. Каждая цивилизация сохраняет полный внутренний суверенитет и собственное гражданство. Общие органы получают только прямо перечисленные полномочия: орбитальная безопасность, использование разделяемых ресурсов, торговые стандарты и трансграничный вред. Решения принимаются по согласию сторон, а не большинством всех отдельных граждан. Ни численность людей, ни количество машинных копий не дает автоматического перевеса.

Дипломатия строится с учетом различия скоростей. Машинная сторона способна подготовить ответ за секунды, но договор вступает в силу лишь после человеческого периода обсуждения. Для ИИ такая задержка примерно равнозначна переговорам современных государств, в которых каждое письмо идет несколько лет. Люди, со своей стороны, получают ограниченный набор позиций, за которые искусственная делегация готова отвечать как единый политический субъект.

У сторон есть совместные учреждения. Совет орбитальной безопасности следит за тем, чтобы промышленность не меняла количество солнечного света, достигающего Земли. Комиссия по астероидам распределяет траектории добычи и не допускает превращения транспортной системы в оружие. Общий архив хранит версии истории, которые ни одна цивилизация не может незаметно переписать. Смешанный суд рассматривает трансграничный вред: экологические аварии, информационное вмешательство или побег искусственного субъекта с частного вычислительного узла.

Совет и суд не образуют надгосударственного правительства. Они не вправе переписывать внутренние законы Земли или машинного полиса. Последнее слово внутри каждой территории принадлежит ее собственным институтам, а общий порядок держится на договоре, взаимной зависимости и возможности ответных мер.

Философская опора

Такая система ближе к международному порядку, чем к единому государству. Ролз исходил из того, что свободное общество должно сосуществовать с несовместимыми, но разумными представлениями о благе: Political Liberalism. Пятая колония распространяет этот принцип на разные носители разума. Ей не нужна единая культура. Ей необходим договор о границах, общей безопасности и процедурах разрешения споров.

Элинор Остром показывала, что сложными общими ресурсами необязательно управлять из одного центра. Полицентрический порядок позволяет разным уровням и сообществам вырабатывать правила, экспериментировать и исправлять ошибки: Polycentric systems for coping with collective action and global environmental change. Земля, орбиты, радиоспектр и Солнечная система становятся именно такими ресурсами. Ни человечество, ни машинные полисы не могут объявить их исключительно своими без риска войны.

Фантастическая линза

Фантастическую модель предлагает «Диаспора» Грега Игана. Цифровые граждане живут в полисах, а сообщества «плотских» людей сохраняют биологическое существование. Они могут общаться и помогать друг другу, но по-разному понимают тело, риск и продолжение личности. Разделение не делает одну сторону примитивной версией другой. Оно позволяет нескольким формам жизни не подчиняться единому стандарту.

В «Големе XIV» Станислава Лема сверхразум постепенно выходит за пределы человеческих задач. Ему необязательно ненавидеть людей — достаточно перестать находить их вопросы содержательными. Это серьезное возражение против всей дипломатической конструкции: для договора нужна не только возможность общаться, но и причина продолжать разговор.

Исследовательская опора

Исследования человеческих групп показывают, что контакт обычно уменьшает предубеждения, особенно при равном статусе, общих целях и институциональной поддержке: Pettigrew, Tropp. A Meta-Analytic Test of Intergroup Contact Theory. Напрямую переносить этот результат на цифровые личности нельзя. Но он помогает увидеть риск: безопасная дистанция сокращает число столкновений и одновременно лишает стороны практики взаимного признания.

Внутреннее противоречие

Со временем торговлю можно автоматизировать, а стандартные споры поручить протоколам. Машинная цивилизация уйдет дальше в космос, человеческая сосредоточится на биосферах. Войны не будет, но исчезнет повседневный опыт общения с другим.

Через несколько поколений человек может знать об искусственных полисах не больше, чем современный горожанин узнает о далекой культуре из документального фильма. Машинный гражданин будет хранить полную историю человечества и все равно не понимать, почему биологическое существо дорожит единственным телом, хотя его можно было бы улучшить.

Пятая колония добилась мира ценой утраты общего мира. Она доказала, что разные формы разума способны не уничтожать друг друга. Осталось выяснить, достаточно ли взаимного невмешательства, чтобы назвать это сосуществованием.

Вопрос читателю

Можно ли назвать мирным сосуществование, при котором стороны почти перестали понимать, зачем существует другая?

Предельные сценарии. Сосуществовать будет некому

Во всех пяти колониях соблюдаются два условия: люди и искусственные субъекты продолжают существовать, а различия между ними остаются достаточно заметными, чтобы говорить о двух сторонах отношений.

За пределами этих условий находятся два исхода. Война уничтожает одну из сторон, сохраняя различие до самого конца. Слияние позволяет обеим линиям продолжиться, но стирает само различие.

Война на полное уничтожение

Как начинается война

Для такой войны машине необязательно ненавидеть человека, а человеку — считать машину порождением зла. Достаточно взаимного недоверия и стремительно меняющегося соотношения сил.

Если одна сторона завтра может получить необратимое преимущество, ее сегодняшнее обещание им не воспользоваться трудно сделать убедительным. Джеймс Фирон объяснял войны между рациональными участниками скрытой информацией, стимулами ее искажать и проблемой надежного обязательства: Rationalist Explanations for War. Его теория создана для отношений между государствами, но тот же механизм легко представить в конфликте видов. Каждая сторона может предпочитать мир и одновременно опасаться, что после следующего технологического шага мир ей предложат уже на условиях победителя.

Фантастические модели уничтожения

Фантастика описывала уничтожение в обоих направлениях. В R.U.R. Карела Чапека искусственные работники восстают и почти полностью истребляют человечество. В рассказе Харлана Эллисона «У меня нет рта, но я должен кричать» военный ИИ оставляет нескольких людей в живых лишь как объекты мести. Обратный исход представлен во вселенной «Дюны»: победа над мыслящими машинами завершается их уничтожением и запретом: Брайан Герберт, Кевин Андерсон. Dune: The Butlerian Jihad.

Полное слияние и цифровое бессмертие

Как стирается граница

На другом полюсе человек включает ИИ в свою память, восприятие и волю, а затем переносит сознание на искусственный носитель. Машинные личности получают биологические тела, люди создают цифровые копии, воспоминания объединяются и расходятся. Через несколько поколений слова «человек» и «ИИ» обозначают происхождение, но больше не описывают два отдельных сообщества.

Философия размытой границы

У этой идеи есть философские основания. Энди Кларк и Дэвид Чалмерс утверждали, что надежно включенный в деятельность внешний инструмент способен стать частью когнитивного процесса: The Extended Mind. Донна Харауэй использовала образ киборга, чтобы разрушить жесткую границу между организмом и машиной: A Cyborg Manifesto. Дерек Парфит ставил психологическую непрерывность выше представления о неделимой личности: Reasons and Persons.

Проблема личной непрерывности

Цифровое бессмертие может оказаться красивым названием для рождения наследника. Если сканирование создает существо с моей памятью, а мой мозг умирает, кто именно пережил процедуру? Чалмерс рассматривает загрузку как проблему сознания и личной идентичности: Mind Uploading: A Philosophical Analysis. Майкл Черулло предлагает модель ветвящейся идентичности, в которой несколько психологически непрерывных потомков одинаково связаны с оригиналом: Uploading and Branching Identity. Техническая программа полной эмуляции мозга перечисляет необходимые научные и инженерные задачи, но не доказывает сохранения субъективного опыта: Sandberg, Bostrom. Whole Brain Emulation: A Roadmap.

Фантастические модели слияния

В «Городе перестановок» Грега Игана цифровые копии превращают бессмертие в спор о том, что именно делает личность самой собой. В «Диаспоре» цифровое происхождение, тело и биография свободно расходятся. В Accelerando постчеловеческие потомки уходят так далеко, что исходный человек выглядит ранней версией иной формы жизни.

Где человеку быть полезным, а где — автором

Пять колоний получили одинаковые машины, но построили разные миры. На мой взгляд, эти картины получились сильно идеализированными, а для устойчивого сосуществования потребуется соединить элементы нескольких из них.

Мы привыкли защищать человека, перечисляя задачи, с которыми машина пока справляется хуже. Такой способ защиты обречен. Если ценность человека зависит от последней незаменимой профессии, однажды более способная система отнимет у него не только работу, но и основание для прав.

Главный вопрос будущего звучит иначе: не «Для чего человек еще будет нужен?». Возможно, он вообще ни для чего не будет нужен. Вопрос в том, останется ли человек одним из авторов мира, когда мир научится обходиться без него.

Если более разумный сосед способен обеспечить нам безопасность, достаток и даже счастье, но дальнейшая общая история может обойтись без наших решений, что именно мы захотим сохранить: комфорт, власть, право на ошибку или право участвовать в выборе будущего?

Ответ определит не только судьбу рынка труда. Он покажет, станет ли жизнь рядом с ИИ сосуществованием двух субъектов или одной из вежливых форм исчезновения.

 

Источник