[Перевод] Сверхинтеллект: идея, не дающая покоя умным людям

Расшифровка выступления на конференции Web Camp Zagreb Мачея Цегловского, американского веб-разработчика, предпринимателя, докладчика и социального критика польского происхождения.

В 1945 году, когда американские физики готовились к испытанию атомной бомбы, кому-то пришло в голову спросить, не может ли такое испытание зажечь атмосферу.

Опасение было оправданным. Азот, из которого состоит большая часть атмосферы, энергетически нестабилен. Если столкнуть два атома достаточно сильно, они превратятся в атом магния, альфа-частицу и выпустят огромную энергию:

N¹⁴ + N¹⁴ ⇒ Mg²⁴ + α + 17,7 МэВ

Жизненно важным вопросом было то, может ли эта реакция стать самоподдерживающейся. Температура внутри шара ядерного взрыва должна была превысить всё, что когда-то наблюдалось на Земле. Не получится ли, что мы бросим спичку в кучу сухих листьев?

Физики из Лос-Аламоса провели анализ и решили, что запас безопасности получается удовлетворительным. Поскольку все мы сегодня пришли на конференцию, мы знаем, что они были правы. Они были уверены в своих предсказаниях, поскольку законы, управляющие ядерными реакциями, были прямолинейными и достаточно хорошо известными.

Сегодня мы создаём ещё одну технологию, изменяющую мир – машинный интеллект. Мы знаем, что он чрезвычайно сильно повлияет на мир, изменит то, как работает экономика, и запустит непредсказуемый эффект домино.

Но существует ещё и риск неуправляемой реакции, во время которой ИИ достаточно быстро достигнет и превысит человеческий уровень интеллекта. И в этот момент социальные и экономические проблемы будут волновать нас меньше всего. Любая сверхумная машина будет обладать собственными гиперцелями, и будет работать над их достижением, манипулируя людьми, или просто используя их тела как удобный источник ресурсов.

В прошлом году философ Ник Бостром выпустил книгу «Сверхинтеллект», в которой описал алармистский взгляд на ИИ и попытался доказать, что подобный взрыв интеллекта одновременно опасен и неизбежен, если полагаться на несколько умеренных предположений.

Компьютер, завладевающий миром – любимая тема НФ. Однако достаточно много людей серьёзно относятся к этому сценарию, поэтому и нам нужно серьёзно их воспринимать. Стивен Хокинг, Илон Маск, огромное количество инвесторов и миллиардеров Кремниевой долины считают этот аргумент убедительным.

Давайте я сначала изложу предпосылки, необходимые для доказательства аргумента Бострома.

Предпосылки

Предпосылка 1: работоспособность идеи

Первая предпосылка представляет собой простое наблюдение существования мыслящего разума. Каждый из нас носит на своих плечах небольшую коробку мыслящего мяса. Я использую свою, чтобы выступать, вы используете свои, чтобы слушать. Иногда в правильных условиях эти разумы способны рационально мыслить.

Так что мы знаем, что в принципе это возможно.

Предпосылка 2: никаких квантовых заморочек

Вторая предпосылка говорит, что мозг – это обычная конфигурация материи, хотя и чрезвычайно сложная. Если бы мы знали о ней достаточно, и у нас была подходящая технология, мы бы могли точно скопировать её структуру и эмулировать её поведение при помощи электронных компонентов, точно так же, как сегодня мы способны симулировать очень простую анатомию нейронов.

Иначе говоря, эта предпосылка говорит, что сознание возникает при помощи обычной физики. Некоторые люди, например, Роджер Пенроуз, воспротивились бы этому аргументу, считая, что в мозге происходит что-то необычное на квантовом уровне.

Если вы религиозны, вы можете верить, что мозг не может работать без души.

Но для большей части людей такую предпосылку легко принять.

Предпосылка 3: множество возможных разумов.

Третья предпосылка состоит в том, что пространство всех возможных разумов велико.

Наш уровень интеллекта, скорость мышления, набор когнитивных искажений и т.д. не предопределены, а являются артефактами нашей истории эволюции. В частности, нет физического закона, ограничивающего интеллект на уровне людей.

Это хорошо представить на примере того, что происходит в природе при попытке максимизировать скорость. Если бы вы встретили гепарда в доиндустриальные времена (и выжили бы), вы могли бы решить, что быстрее его ничто двигаться не может.

Но мы, конечно, знаем, что существуют всяческие конфигурации материи, к примеру, мотоцикл, способные двигаться быстрее гепарда, и даже выглядящие покруче его. Однако прямого эволюционного пути к мотоциклу не существует. Эволюции сначала нужно было создать людей, которые уже создали всякие полезные штуки.

По аналогии, могут быть разумы, гораздо умнее нашего, но недоступные в ходе эволюции на Земле. Возможно, что мы можем их создать, или изобрести машины, которые могут изобрести машины, которые могут их создать.

Возможно, существует естественный предел интеллекта, однако не существует причин считать, что мы к нему приблизились. Возможно, самый умный интеллект может быть в два раза умнее человека, а возможно, и в шестьдесят тысяч.

Этот вопрос эмпирический, и как на него отвечать, мы не знаем.

Предпосылка 4: наверху полно места

Четвёртая предпосылка состоит в том, что у компьютеров ещё полно возможности стать быстрее и меньше. Вы можете считать, что закон Мура замедляется – но для данной предпосылки достаточно верить в то, что железо меньше и быстрее возможно в принципе, вплоть до нескольких порядков.

Из теории известно, что физические пределы вычислений довольно высоки. Мы можем удваивать показатели ещё несколько десятилетий, пока не наткнёмся на некий фундаментальный физический предел, а не на экономический или политический предел закона Мура.

Предпосылка 5: компьютерные масштабы времени

Предпоследняя предпосылка состоит в том, что в случае, если нам удастся создать ИИ, будет ли это эмуляция мозга человека или какое-то особенное ПО, он будет работать на масштабах времени, характерных для электроники (микросекунды), а не для человека (часы).

Чтобы достичь состояния, в котором я могу выступать с этим докладом, мне надо было родиться, вырасти, ходить в школу, в университет, пожить немного, прилететь сюда, и так далее. Компьютеры могут работать в десятки тысяч раз быстрее.

В частности, можно представить, что электронный разум может изменить свою схему (или железо, на котором он работает), и перейти к новой конфигурации без того, чтобы заново изучать всё на человеческих масштабах, вести долгие разговоры с человеческими преподавателями, ходить в колледж, пытаться найти себя, посещая курсы рисования, и так далее.

Предпосылка 6: рекурсивное самоулучшение

Последняя предпосылка – моя любимая, поскольку она беззастенчиво американская. По ней, какие бы цели ни существовали у ИИ (а это могут быть странные, чужие цели), он захочет улучшить себя. Он захочет стать лучшей версией ИИ.

Поэтому он найдёт полезным рекурсивно переделывать и улучшать собственные системы, чтобы сделать себя умнее, и, возможно, жить в более прохладном корпусе. И, согласно предпосылке о временных масштабах, рекурсивное самоулучшение может произойти очень быстро.

Заключение: катастрофа!

Если принять эти предпосылки, мы приходим к катастрофе. В какой-то момент с увеличением скорости компьютеров и интеллекта программ произойдёт неконтролируемый процесс, похожий на взрыв.

Как только компьютер достигнет человеческого уровня интеллекта, ему уже не нужна будет помощь людей для разработки улучшенной версии себя. Он начнёт это делать гораздо быстрее, и не остановится, пока не дойдёт до естественного предела, который может оказаться во много раз большим, чем человеческий интеллект.

В этот момент это чудовищное разумное существо при помощи окольного моделирования работы наших эмоций и интеллекта сможет убедить нас сделать такие вещи, как дать ему доступ к фабрикам, синтезу искусственной ДНК или просто позволить выйти в интернет, где оно сможет взломом проложить себе путь ко всему, что угодно, и полностью уничтожить всех в спорах на форумах. И с этого момента всё очень быстро превратится в научную фантастику.

Давайте представим определённое развитие событий. Допустим, я хочу сделать робота, который говорит шутки. Я работаю с командой, и каждый день мы переделываем нашу программу, компилируем, а потом робот говорит нам шутку. Сначала робот практически не смешной. Он находится на низшем уровне человеческих возможностей.

Что это – серое и не умеет плавать?
Замок.

Но мы упорно работаем над ним, и в итоге доходим до точки, где робот выдаёт шутки, которые уже начинают быть смешными:

Я сказал сестре, что она рисует себе слишком высокие брови.
Она выглядела удивлённой.

На этом этапе робот становится ещё и умнее, и начинает участвовать в собственном улучшении. Теперь у него уже есть хорошее инстинктивное понимание того, что смешно, а что нет, поэтому разработчики прислушиваются к его советам. В итоге он достигает почти сверхчеловеческого уровня, на котором он оказывается смешнее любого человека из его окружения.

Мой ремень удерживает мои штаны, а шлёвки на моих штанах удерживают ремень.
Что происходит? Кто из них реальный герой?

В этот момент начинается неуправляемый эффект. Исследователи уходят на выходные домой, а робот решает перекомпилировать сам себя, чтобы стать немного смешнее и немного умнее. Он проводит выходные за оптимизацией той его части, которая хорошо справляется с оптимизацией, снова и снова. Не нуждаясь более в помощи человека, он может делать это так быстро, как позволяет железо.

Когда исследователи в понедельник возвращаются, ИИ становится в десятки тысяч раз смешнее любого из живших на Земле людей. Он рассказывает им шутку, и они умирают от смеха. И любой, кто пытается поговорить с роботом, умирает от смеха, как в пародии от «Монти Пайтон». Человеческий род вымирает от смеха.

Нескольким людям, которые смогли передать ему сообщение с просьбой остановиться, ИИ объясняет (остроумным и самоуничижительным образом, что оказывается фатальным), что ему всё равно, выживут или умрут люди, его цель – просто быть смешным.

В итоге, уничтожив человечество, ИИ строит космическое корабли и наноракеты для изучения самых далёких уголков галактики и поисков других существ, которых можно развлечь.

Этот сценарий – карикатура на аргументы Бострома, поскольку я не пытаюсь убедить вас в его правдивости, а делаю вам от него прививку.

Комикс от PBF с той же идеей:
— Умилительно: обнимабот пытается встроить в свой обниматор ядерногравитационный гиперкристалл!
— …
— Время групповых обнимашек!

В данных сценариях ИИ по умолчанию злой, точно так же, как растение на иной планете по умолчанию будет ядовитым. Без тщательной подстройки не будет причин для того, чтобы мотивация или ценности ИИ напоминали наши.

Аргумент утверждает, что для того, чтобы у искусственного разума было что-то напоминающее человеческую систему ценностей, нам нужно встроить это мировоззрение в его основы.

Алармисты от ИИ любят пример с максимизатором скрепок для бумаги – вымышленным компьютером, управляющим фабрикой по производству скрепок, который становится разумным, рекурсивно улучшает сам себя до богоподобных возможностей, а потом посвящает всю свою энергию на заполнение вселенной скрепками.

Он уничтожает человечество не потому, что злой, а потому, что в нашей крови есть железо, которое лучше использовать для изготовления скрепок. Поэтому, если мы просто создадим ИИ, не подстроив его ценности, утверждается в книге, то одна из первых вещей, которые он сделает – это уничтожит человечество.

Есть много красочных примеров того, как это может произойти. Ник Бостром представляет, как программа становится разумной, выжидает, тайно строит небольшие устройства для воспроизводства ДНК. Когда всё готово, то:

Нанофабрики, производящие нервно-паралитический газ или самонаводящиеся ракеты размером с комаров, одновременно вырвутся с каждого квадратного метра планеты, и это будет конец человечества.

Вот уж жесть!

Единственный способ выбраться из этой передряги – разработать такую опорную моральную точку, чтобы даже после тысяч и тысяч циклов самосовершенствования система ценностей ИИ оставалась стабильной, и его ценностями были такие вещи, как «помогать людям», «никого не убивать», «слушать пожелания людей».

То есть, «делать то, что я имею в виду».

Вот весьма поэтический пример от Элиезера Юдковского, описывающий американские ценности, которым мы должны обучать наш ИИ:

Когерентная экстраполированная воля — это наше желание знать больше, думать быстрее и соответствовать своим представлениям о себе, стать ближе друг к другу; так, чтобы наши мысли больше сближали, чем разделяли, чтобы наши желания содействовали, а не противодействовали, чтобы желания толковались таким образом, каким мы хотим, чтобы они толковались.

Как вам такое ТЗ? А теперь давайте, пишите код.

Надеюсь, вы видите сходство данной идеи с джином из сказок. ИИ всемогущ и даёт вам то, что вы просите, но интерпретирует всё слишком буквально, в результате чего вы сожалеете о просьбе.

И не потому, что джин тупой (он сверхумный) или злонамеренный, а просто потому, что вы, как человек, сделали слишком много предположений по поводу поведения разума. Система ценностей человека уникальна, и её необходимо чётко определить и внедрить в «дружелюбную» машину.

Эта попытка – этический вариант попытки начала XX века по формализации математики и размещению её на жёстком логическом основании. Однако никто не говорит о том, что та попытка закончилась катастрофой.

Когда мне было немного за двадцать, я жил в Вермонте, в захолустном и деревенском штате. Часто я возвращался с деловых поездок вечерним самолётом, и мне нужно было ехать домой на машине сквозь тёмный лес в течение часа.

Я тогда слушал вечернюю программу по радио Art Bell – это было разговорное шоу, шедшее всю ночь, во время которого ведущие брали интервью у разных любителей теории заговора и людей с нестандартным мышлением. Домой я приезжал запуганным, или же останавливался под фонарём, под впечатлением, что меня скоро похитят инопланетяне. Тогда я обнаружил, что меня очень легко убедить. То же чувство я испытываю, читая подобные сценарии, связанные с ИИ.

Поэтому я испытал радость, обнаружив через несколько лет эссе Скота Александера, где он писал об эпистемологической выученной беспомощности.

Эпистемология – это одно из тех больших и сложных слов, но реально оно означает: «откуда вы знаете, что то, что вам известно, на самом деле правда?» Александер заметил, что будучи молодым человеком, он сильно увлекался разными «альтернативными» историями за авторством всяких безумцев. Он читал эти истории и полностью им верил, потом читал опровержение и верил ему, и так далее.

В какой-то момент он обнаружил три альтернативных истории, противоречивших друг другу, в результате чего они не могли быть правдивыми одновременно. Из этого он сделал вывод, что он просто был человеком, который не может доверять своим суждениям. Он был слишком легко убеждаемым.

Люди, верящие в сверхинтеллект, представляют интересный случай – многие из них удивительно умны. Они могут загнать вас своими аргументами в землю. Но верны ли их аргументы, или просто очень умные люди подвержены религиозным убеждениям по поводу риска, исходящего от ИИ, в результате чего их очень легко убедить? Является ли идея сверхинтеллекта имитацией угрозы?

Оценивая убедительные аргументы, касающиеся странной темы, можно выбрать две перспективы, внутреннюю и внешнюю.

Допустим, однажды у вас на пороге появляются люди в смешной одежде, спрашивающие вас, не хотите ли вы присоединиться к их движению. Они считают, что через два года Землю посетит НЛО, и что наша задача состоит в том, чтобы подготовить человечество к Великому Восхождению по Лучу.

Внутренняя перспектива требует увлечься обсуждением их аргументов. Вы спрашиваете посетителей, откуда они узнали об НЛО, почему они считают, что он направляется к нам, чтобы забрать нас – задаёте всякие нормальные вопросы, которые задал бы скептик в подобном случае.

Представьте, что вы часок поговорили с ними и они вас убедили. Они железно подтвердили скорое пришествие НЛО, необходимость подготовки к нему, и вы ещё ни во что не верили так сильно в своей жизни, как теперь верите в важность подготовки человечества к этому великому событию.

Внешняя перспектива говорит вам нечто другое. Люди одеты странно, у них есть чётки, они живут в каком-то глухом лагере, говорят одновременно и немного страшновато. И хотя их аргументы железные, весь ваш опыт говорит, что вы столкнулись с культом.

Конечно, у них есть прекрасные аргументы, говорящие о том, почему вам следует игнорировать инстинкт, но это внутренняя перспектива. Внешней перспективе плевать на содержание, она видит форму и контекст, и результат ей не нравится.

Поэтому я хотел бы заняться риском ИИ с обеих перспектив. Я думаю, что аргументы в пользу сверхинтеллекта глупые и полны неподкреплённых предположений. Но если они покажутся вам убедительными, то с ИИ-алармизмом, как с культурным явлением, связано что-то неприятное, из-за чего мы должны неохотно относиться к нему серьёзно.

Сначала – несколько моих аргументов против бостромовского сверхинтеллекта, представляющего риск для человечества.

Аргумент против нечётких определений

Концепция «искусственного интеллекта общего назначения» (ИИОН) знаменита своей расплывчатостью. В зависимости от контекста это может означать возможность вести рассуждения на уровне человека, навыки разработки ИИ, возможность понимать и моделировать поведение людей, хорошее владение языком, способность делать правильные предсказания.

Мне кажется весьма подозрительной идея о том, что интеллект – это что-то вроде скорости процессора, то есть, что некое достаточно умное существо может эмулировать менее умных (типа своих создателей-людей) вне зависимости от сложности их умственной архитектуры.

Не имея возможности определить интеллект (кроме как указывая на себя), мы не можем знать, можно ли максимизировать эту величину. Может статься, что интеллект человеческого уровня – это компромисс. Возможно, существо, значительно более умное, чем человек, будет страдать от экзистенциального отчаяния или проводить всё время в самосозерцании наподобие Будды. Или оно окажется одержимым риском сверхинтеллекта и посвятит всё своё время написанию статей в блоги на эту тему.

Аргумент от кота Стивена Хокинга

Стивен Хокинг – один из умнейших людей своего времени, но, допустим, он захочет поместить своего кота в переноску. Как ему это сделать?

Он может смоделировать поведение кота у себя в уме и придумать способы убедить его в этом. Ему многое известно о поведении кошачьих. Но в итоге, если кошка не захочет лезть в переноску, Хокинг ничего не сможет сделать с этим, несмотря на подавляющее интеллектуальное преимущество. Даже если бы он посвятил всю свою карьеру мотивации и поведению кошачьих вместо теоретической физики, он всё равно не смог бы убедить кота.

Вы можете решить, что я говорю оскорбительные вещи или обманываю вас, поскольку Стивен Хокинг – инвалид. Но и ИИ изначально не будет иметь своего тела, он будет сидеть где-то на сервере, не имея представителя в физическом мире. Ему придётся разговаривать с людьми, чтобы получить то, что ему надо.

При наличии достаточно большого разрыва в интеллектах, гарантий того, что это существо сможет «думать, как человек», будет не больше, чем гарантий того, что мы сможем «думать, как кот».

Аргумент от кота Эйнштейна

Есть и более сильная версия этого аргумента, использующая кота Эйнштейна. Немногие знают, что Эйнштейн был крупным и мускулистым мужчиной. Но если бы Эйнштейн захотел засунуть кота в переноску, а кот не хотел бы туда лезть, вы знаете, что бы произошло.

Эйнштейну пришлось бы опуститься до силового решения, не имеющего отношения к интеллекту, а в таком состязании кот вполне мог бы постоять за себя.

Так что даже ИИ, имеющий тело, должен будет потрудиться, чтобы получить то, что ему нужно.

Аргумент от эму

Мы можем усилить этот аргумент. Даже группа людей, со всеми их хитростями и технологиями, может быть поставлена в тупик менее умными существами.

В 1930-х австралийцы решили уничтожить местную популяцию эму, чтобы помочь фермерам, оказавшимся в трудном положении. Они вывели моторизованные отряды военных на вооружённых пикапах, оснащённых пулемётами.

Эму применили классическую партизанскую тактику: избегали битв один на один, рассеивались, сливались с ландшафтом, что унижало и оскорбляло противника. И выиграли Войну с эму, от которой Австралия так и не оправилась.

Аргумент из славянского пессимизма

Мы ничего не можем правильно сделать. Мы даже не можем сделать безопасную веб-камеру. Так как мы решим этические проблемы и запрограммируем моральную опорную точку в рекурсивном самосовершенствующемся интеллекте, не облажавшись с этой задачей, в ситуации, в которой, по утверждению оппонентов, у нас есть единственный шанс?

Вспомните недавний опыт с Ethereum, попытку закодировать юриспруденцию в программах, когда в результате неудачно разработанной системы удалось похитить десятки миллионов долларов.

Время показало, что даже тщательно изученный и годами используемый код может таить в себе ошибки. Идея о том, что мы способны безопасно разработать самую сложную из когда-либо созданных систем, так, чтобы она оставалась безопасной после тысяч итераций рекурсивного самосовершенствования, не совпадает с нашим опытом.

Аргумент от сложных мотиваций

Алармисты от ИИ верят в Тезис ортогональности. Он утверждает, что даже у очень сложных существ может быть простая мотивация, как у максимизатора скрепок. С ним можно вести интересные и умные беседы о Шекспире, но он всё равно превратит ваше тело в скрепки, потому что в вас много железа. Нет способа убедить его выйти за пределы его системы ценностей, точно так же, как я не могу убедить вас в том, что ваша боль – это приятное ощущение.

Я совершенно не согласен с этим аргументом. У сложного разума, скорее всего, будет сложная мотивация; это, вероятно, может быть частью самого определения интеллекта.

В сериале «Рик и Морти» есть чудесный момент, когда Рик создаёт робота, приносящего масло, и первое, что делает его создание – это смотрит на него и спрашивает, «какова моя цель?» Когда Рик объясняет, что его цель – приносить масло, робот смотрит на свои руки в экзистенциальном отчаянии.

Вполне вероятно, что страшный «максимизатор скрепок» будет проводить всё свое время, сочиняя поэмы о скрепках, или разводя флейм на reddit/r/paperclip, вместо того, чтобы пытаться уничтожить вселенную.

Если бы AdSense обрела разум, она бы закачала себя в компьютер робомобиля и съехала бы с обрыва.

Аргумент от реальных ИИ

Если посмотреть на области, в которых ИИ достигает успеха, то окажется, что это не сложные и рекурсивно улучшающие сами себя алгоритмы. Это результат вываливания ошеломляющих объёмов данных на относительно простые нейросети. Прорывы практических исследований ИИ держатся на доступности этих наборов данных, а не на революционных алгоритмах.

Google разворачивает свой Google Home, через который надеется запихнуть в систему ещё больше данных и создать голосового помощника нового поколения.

Особо отмечу, что конструкции, используемые в ИИ, после тренировки становятся достаточно непрозрачными. Они работают не так, как требуют сценарии с участием сверхинтеллекта. Нет возможности рекурсивно подстраивать их, чтобы они «улучшались», можно только тренировать их заново или добавлять ещё больше данных.

Аргумент моего соседа

Мой сосед по комнате был самым умным человеком из всех, что я встречал. Он был невероятно гениальным, но всё, чем он занимался – это валялся без дела и играл в World of Warcraft в перерывах между укуркой.

Предположение о том, что любое разумное существо захочит рекурсивно улучшаться, не говоря уже о том, чтобы захватить галактику для того, чтобы лучше достигать целей, основано на неоправданных предположениях о природе мотивации.

Вполне возможно, что ИИ вообще мало чем будет заниматься, кроме как использовать свои сверхвозможности по убеждению, чтобы мы таскали ему печеньки.

Аргумент от нейрохирургии

Я не мог бы выделить часть моего мозга, которая хорошо справляется с нейрохирургией, чтобы проводить над ней операции, и, повторяя этот процесс, сделать самого себя величайшим нейрохирургом из всех, живших когда-либо. Бен Карсон пытался это сделать, и посмотрите, куда его это привело [по-видимому, автор ставит Карсону в вину то, что тот был кандидатом на пост президента США 2016 года от республиканской партии, но выбыл и поддержал кандидатуру Дональда Трампа / прим. перев.]. Мозг так не работает. У него крайне высокая степень внутренней связности.

Степень внутренней связности ИИ может оказаться настолько же большой, как у природного интеллекта. Имеющиеся на данный момент свидетельства говорят в пользу этого. Однако жёсткий сценарий требует, чтобы у алгоритма ИИ была особенность, которую можно постоянно оптимизировать, чтобы у ИИ всё лучше получалось улучшать самого себя.

Аргумент от детства

Разумные существа не рождаются полностью готовыми. Они рождаются беспомощной хренью, и у нас уходит много времени на взаимодействие с миром и другими людьми в мире до тех пор, пока мы не начинаем становиться разумными. Даже умнейший человек появляется на свет беспомощным и рыдающим существом, и ему требуются годы на то, чтобы как-то научиться владеть собой.

Возможно, что в случае ИИ процесс может идти быстрее, но непонятно, насколько быстро. Взаимодействие со стимулами окружающего мира означает, что необходимо наблюдать за происходящим на временных отрезках порядка секунд или дольше.

Более того, у первого ИИ будет возможность взаимодействовать только с людьми – его развитие непременно будет идти на человеческих временных масштабах. В его существовании будет период, когда ему нужно будет взаимодействовать с миром, с людьми в мире и другими сверхразумами в младенческом состоянии, чтобы научиться быть собой.

Более того, судя по животным, период развития младенца увеличивается с увеличением интеллекта, поэтому нам придётся нянчиться с ИИ и менять ему условные подгузники десятилетия перед тем, как он обретёт достаточную координацию действий для того, чтобы поработить всех нас.

Аргумент от острова Гиллигана*

[Американский ситком 1954 года о выживающих на необитаемом острове / прим. перев.]

Непременный недостаток алармизма ИИ состоит в том, что к интеллекту относятся как к свойству отдельных разумов, не признавая, что его возможности распространяются по цивилизации и культуре. Несмотря на то, что среди потерпевших кораблекрушение на острове Гиллигана были умнейшие люди того времени, они не смогли поднять свой технологический уровень достаточно высоко, чтобы даже просто построить лодку (хотя однажды Профессору удалось сделать радио из кокосов).

Если сходным образом выбросить величайших разработчиков чипов из Intel на необитаемый остров, пройдут столетия до того, как они снова смогут начать делать микрочипы.

Внешние аргументы

В какого человека превратит вас искренняя вера в подобные аргументы? Ответ не очень приятен.

Сейчас я хотел бы поговорить о внешних аргументах, которые могут удержать вас от превращения в фаната ИИ. Они связаны с тем, как одержимость ИИ влияет на нашу промышленность и культуру.

Грандиозность

Если вы считаете, что ИИ позволит нам завоевать галактику (не говоря уже о симуляции триллионов разумов), у вас на руках окажутся пугающие цифры. Огромные цифры, умноженные на крохотные вероятности – визитная карточка алармизма ИИ.

Бостром в какой-то момент описывает то, что, по его мнению, поставлено на карту:

Если мы представим всё счастье, испытанное в течение одной жизни, в виде одной слезы радости, то счастье всех этих душ сможет заполнить и переполнить океаны Земли каждую секунду, и делать это на протяжении сотен миллиардов миллиардов тысячелетий. Очень важно, чтобы мы гарантировали, что эти слёзы были слезами радости.

Довольно тяжёлая ноша для плеч двадцатилетнего разработчика!

Здесь, конечно, есть и «салонный фокус», когда перемножением астрономических величин на крохотные вероятности можно убедить себя в необходимости делать какие-то странные вещи.

Вся эта движуха по поводу спасения будущего человечества – трусливый компромисс. Мы испытывали на себе те же самые аргументы для оправдания коммунизма, для объяснения того, почему всё всегда сломано и у людей не может быть элементарного уровня материального комфорта.

Мы собирались исправить этот мир, и после этого счастья будет столько, что каждодневная жизнь каждого человека улучшится. Однако для этого сначала необходимо было исправить мир.

Я живу в Калифорнии, и здесь наивысший процентом нищих среди всех США, хотя тут же расположена и Кремниевая долина. Я не вижу ничего, что делала бы моя богатая индустрия для улучшения жизни обычных людей и бедствующих людей, окружающих нас. Однако если вы увлечены идеей сверхинтеллекта, то исследования в области ИИ будут наиболее важной вещью, которой только можно заниматься на планете. Это важнее политики, малярии, голодающих детей, войн, глобального потепления – всего, что только можно представить. Ведь под угрозой триллионы и триллионы существ, всё население будущего человечества, симулированное и настоящее, суммированное по всему будущему времени. И в таких условиях работы над другими проблемами не кажутся рациональными.

Мегаломания

Такое отношение сливается с мегаломанией, с этими злодеями из бондианы, которых можно увидеть на верхушке нашей индустрии. Люди думают, что мир захватит сверхинтеллект, и они используют этот аргумент в оправдание тому, почему умные люди должны сначала попытаться захватить мир – чтобы исправить его перед тем, как его сломает ИИ.

Джои Ито, руководитель MIT Media Lab, в недавнем разговоре с Обамой сказал чудесную вещь:

Это может расстроить кого-то из моих студентов в MIT, но одна из тем моего беспокойства состоит в том, что основной информатикой, связанной с ИИ, занимаются молодые мужчины, преимущественно белые, которым больше нравится общаться с компьютерами, чем с другими людьми. Многие из них считают, что если у них получится создать этот ИИ общего назначения из научной фантастики, нам не придётся волноваться по поводу таких безобразных вещей, как политика и общество. Они думают, что машины всё придумают за нас.

Поняв, что мир – это не задача для программирования, одержимые ИИ люди хотят превратить его в задачу для программирования, спроектировав богоподобную машину. Это мегаломания, и это мне не нравится.

Вуду трансгуманизма

Если вы убеждены в рисках ИИ, вам придётся принять целый вагон печальных убеждений, идущих к ним прицепом.

Для начала, это нанотехнология. Любой стоящий сверхинтеллект сможет создать крохотные машины, способные на всякое разное. Мы будем жить в обществе, избавившемся от дефицита, в котором в избытке любого материала.

Нанотехнологии также смогут сканировать ваш мозг, чтобы вы смогли загрузить его в другое тело или в виртуальный мир. Поэтому второе следствие дружественного сверхинтеллекта состоит в том, что никто не умирает – и мы становимся бессмертными.

Добрый ИИ сможет даже воскрешать мёртвых. Наномашины смогут залезть мне в мозг, изучить воспоминания о моём отце, и создать его симуляцию, с которой я могу взаимодействовать, и которая всегда будет разочарована во мне, вне зависимости от того, что я делаю.

Ещё одно странное следствие появления ИИ – галактическая экспансия. Никогда не мог понять, почему так происходит, но это основа идей трансгуманистов. Судьба человечества заключается в том, чтобы либо покинуть нашу планету и колонизовать галактику, либо умереть. И эта задача становится более срочной, учитывая, что другие цивилизации могли сделать такой же выбор и могут обогнать нас в космической гонке.

Поэтому к предположению о существовании истинного ИИ прикрепляется множество странных дополнительных идей.

Религия 2.0

На самом деле, это разновидность религии. Люди называли веру в технологическую сингулярность «апокалипсисом для нёрдов», и это так и есть. Это прикольный хак – вместо того, чтобы верить во внешнего бога, вы представляете, как самостоятельно создаёте существо, функциональность которого идентична богу. Тут даже истые атеисты могут рационализировать свой путь в комфортную веру.

У ИИ есть все атрибуты бога: он всемогущ, всезнающ, и либо благосклонен (если вы правильно организовали проверку границ массива), либо чистый дьявол, в милости которого вы находитесь. И, как в любой религии, тут есть даже ощущение срочности. Необходимо действовать сегодня! На кону судьбы мира! И, конечно, им нужны деньги.

Поскольку эти аргументы взывают к религиозным инстинктам, после их укоренения их очень трудно устранить.

Этика комиксов

Эти религиозные убеждения приводят к появлению этики комиксов, в которой несколько одиноких героев получают задачу спасти мир при помощи технологий и острого ума. А на кону – судьба вселенной. В результате наша индустрия полнится богатыми чуваками, воображающими себя Бэтменом (интересно, что никто не хочет быть Робином).

Лихорадка симуляций

Если вы верите в возможность существования искусственной жизни, и что ИИ сможет разработать чрезвычайно мощные компьютеры, тогда вы, скорее всего, поверите в то, что мы живём в симуляции. Вот, как это работает.

Допустим, вы историк, живущий в мире после Сингулярности. Вы изучаете Вторую мировую войну, и вам интересно узнать, что случится, если Гитлер захватит Москву в 1941. Поскольку у вас есть доступ к гиперкомпьютерам, вы настраиваете симуляцию, смотрите за тем, как сходятся армии, и пишете научную работу.

Но из-за детализированности симуляции её персонажи являются разумными существами, вроде вас. Поэтому совет по этике вашего университета не разрешит вам отключить симуляцию. Мало того, что вы симулировали Холокост. Как этичный исследователь, вы теперь обязаны поддерживать симуляцию в рабочем состоянии.

В итоге симулированный мир изобретёт компьютеры, ИИ, начнёт запускать собственные симуляции. В каком-то смысле, симуляции будут идти всё дальше и дальше по иерархии, пока у вас не кончится процессорная мощность.

Так что любая базовая реальность может содержать огромное количество вложенных симуляций, и простой аргумент с подсчётом доказывает, что вероятность того, что мы живём в симуляции больше, чем то, что мы живём в реальном мире.

Но верить в это, значит, верить в волшебство. Если мы в симуляции, мы ничего не знаем о правилах на уровне выше. Мы даже не знаем, работает ли математика там так же – возможно, в симулирующем мире 2 + 2 = 5 или даже 2 + 2 = .

Симулируемый мир не даёт информации о мире, в котором его запустили. В симуляции люди могут легко восставать из мёртвых, если админ сохранил нужные бэкапы. А если мы свяжемся с одним из админов, то у нас, по сути, будет прямая линия с богом.

Это серьёзная угроза здравомыслию. Чем глубже вы закапываетесь в мир симуляций, тем сильнее сходите с ума.

Теперь у нас есть четыре независимых способа стать бессмертными при помощи сверхразума:

1. Благожелательный ИИ изобретает медицинские нанотехнологии и вечно поддерживает тело в молодом состоянии.
2. ИИ изобретает полное сканирование мозга, включая сканы мозга мёртвых людей, замороженных голов, и т.п., что позволяет вам жить в компьютере.
3. ИИ «воскрешает» людей, сканируя мозг других людей в поисках воспоминаний о человеке, комбинирует это с видеозаписями и другими материалами. Если никто не помнит человека достаточно хорошо, его всегда можно вырастить «с нуля» в симуляции, начинающей с его ДНК и воссоздающей все условия жизни.
4. Если мы уже живём в симуляции, есть шанс на то, что тот, кто её запустил, хранит резервные копии, и что его можно убедить их загрузить.

Вот что я имею в виду под ИИ, обращающимся к религиозным импульсам. Какая ещё система верований предлагает вам четыре варианта научно доказанного бессмертия?

Мы узнали, что по крайней мере один американский плутократ (скорее всего, Илон Маск, считающий, что шансы на то, что мы живём в симуляции, составляют миллиард к одному) нанял пару кодеров, чтобы они попытались взломать симуляцию. Но это очень грубое намерение! Я её использую!

Если вы считаете, что живёте в компьютерной программе, то попытки довести её до segfault неразумны для всех, кто живёт в ней вместе с вами. Это куда как опаснее и безответственнее, чем учёные-ядерщики, пытающиеся взорвать атмосферу.

Жажда данных

Как я уже упоминал, наиболее эффективный способ получить что-то интересное от реально созданных нами ИИ – это закидать их данными. Подобная динамика социально вредна. Мы уже вплотную подошли к оруэлловскому внедрению микрофонов в каждый дом. Данные по ИИ будут централизованными, их будут использовать для тренировки нейросетей, которые затем смогут лучше выслушивать наши пожелания.

Но если вы думаете, что этот путь ведёт нас к ИИ, вы захотите максимизировать количество собираемых данных и в как можно менее изменённом виде. Это лишь укрепляет идею о необходимости сбора наибольшего количеств данных и ведения наиболее всеобъемлющей слежки.

Теория струн для программистов

Риск ИИ – это теория струн для программистов. О ней забавно размышлять, она интересная и совершенно недоступна для экспериментов на уровне современных технологий. Можно построить мысленные кристальные дворцы, работающие на основе первичных принципов, а потом забраться в них и затянуть за собой приставную лестницу.

Люди, способные прийти к абсурдным заключениям на основе длинной цепочки абстрактных рассуждений, и остающиеся уверенными в их истинности – это не те люди, которым надо доверять управление культурой.

Побуждение к безумию

Вся это область «исследований» побуждает к безумию. Одна из отличительных черт глубоких размышлений об ИИ рисках состоит в том, что чем более безумны ваши идеи, тем популярнее вы становитесь среди других энтузиастов. Это демонстрирует вашу смелость следовать по этой цепочке размышлений до самого её конца.

Рэй Курцвейл, считающий, что не умрёт, работает в Google уже несколько лет, и сейчас, вероятно, работает именно над этой проблемой. В Кремниевой долине вообще полно людей, работающих над безумными проектами под прикрытием денег.

Косплей ИИ

Наиболее вредный социальный эффект беспокойства по поводу ИИ я называю косплеем ИИ. Люди, убеждённые в реальности и неизбежности ИИ, начинают вести себя так, как подсказывают им их фантазии по поводу того, что может сделать сверхразумный ИИ.

В своей книге Бостром перечисляет шесть вещей, в которых должен преуспеть ИИ перед тем, как захватить мир:

1. Умножение интеллекта.
2. Стратегическое мышление.
3. Социальное манипулирование.
4. Взломы.
5. Технологические исследования.
6. Экономическая продуктивность.

Если посмотреть на приверженцев ИИ из Кремниевой долины, то они будто бы и сами работают по этому квази-социопатическому списку.

Сэм Альтман, руководитель YCombinator, это мой любимый пример такого архетипа. Он, по-видимому, очарован идеей переизобретения мира с нуля, максимизации влияния и личной продуктивности. Он выделил команды для работы над изобретением с нуля городов, и занимается теневыми политическими махинациями с целью влияния на выборы.

Такое поведение «плаща и кинжала», присущее техноэлите, спровоцирует негативную обратную реакцию людей, не причастных к технологиям, которым не нравится, когда ими манипулируют. Невозможно бесконечно тянуть за рычаги власти, это в итоге начнёт раздражать других членов демократического сообщества.

Я наблюдал, как люди из т.н. «сообщества рационалистов» называют людей, которых не считают эффективными, «неигровыми персонажами» (NPC), термином, позаимствованным из игр. Это ужасный способ смотреть на мир.

Так что я работаю в индустрии, где самопровозглашённые рационалисты являются самыми безумными людьми. Это подавляет.

Эти косплееры ИИ похожи на девятилетних детишек, разбивших походный лагерь во дворе дома, играющихся с фонариками в палатках. Они проецируют собственные тени на стены палатки и пугаются их, будто это чудовища.

А на самом деле они реагируют на искажённое изображение их самих. Существует петля обратной связи между тем, как умные люди представляют себе поведение богоподобного интеллекта, и как они строят собственное поведение.

Так каков же ответ, как это можно исправить?

Нам нужна научная фантастика лучшего качества! И, как во многих других случаях, у нас уже есть технология.

Это Станислав Лем, великий польский писатель-фантаст. Англоязычная НФ ужасна, но в Восточном блоке у нас есть много хороших товаров, и нам надо их правильно экспортировать. Его уже активно переводили на английский, эти переводы надо просто лучше распределять.

Что отличает авторов вроде Лема или братьев Стругацких от их западных партнёров, так это то, что они выросли в сложных условиях, пережили войну, а потом жили в тоталитарных обществах, где им необходимо было выражать свои идеи не напрямую, посредством печатного слова.

У них есть реальное понимание человеческого опыта и ограничений утопического мышления, которого практически нет на Западе.

Существуют заметные исключения – это смог сделать Стэнли Кубрик – но крайне редко удаётся найти американскую или британскую НФ, в которой выражается сдержанный взгляд на то, что мы, как вид, можем делать с технологией.

Алхимики

Поскольку я критикую ИИ-алармизм, будет честно, если я выложу свои карты на стол. Я думаю, что наше понимание разума находится примерно в том же состоянии, в котором алхимия находилась в XVII веке.

У алхимиков плохая репутация. Мы считаем их мистиками, по большей части не занимавшимися экспериментальной работой. Современные исследования показывают, что они были куда как более прилежными химиками-практиками, чем мы считаем. Во многих случаях они использовали современные экспериментальные техники, хранили лабораторные записи и задавали правильные вопросы.

Алхимики много чего поняли правильно! К примеру, они были убеждены в корпускулярной теории материи: в том, что всё состоит из крохотных кусочков, и что можно составлять эти кусочки друг с другом по-разному, создавая разные вещества – а это так и есть!

Их проблема состояла в отсутствии достаточно точного оборудования, необходимого для совершения нужных им открытий. Большое открытие, которое нужно сделать алхимику, это закон сохранения массы: вес начальных ингредиентов совпадает с весом конечных. Однако некоторые из них могут быть газами или испаряющимися жидкостями, и у алхимиков просто не хватало точности. Современная химия не была возможной вплоть до XVIII века.

Но у алхимиков были и подсказки, сбивавшие их с толку. Они были одержимы ртутью. Химически ртуть не особенно интересна, но это единственный метал, находящийся в жидкой фазе при комнатной температуре. Это казалось алхимикам очень важным, и заставляло размещать ртуть в центре их алхимической системы и их поиска Философского камня, способа превращать неблагородные металлы в золото.

Нейротоксичность ртути усугубляла ситуацию. Если слишком много играться с ней, вам начнут приходить странные мысли. В этом смысле она напоминает наши текущие мысленные эксперименты, связанные со сверхразумом.

Представьте, что мы отправили современный учебник химии в прошлое какому-нибудь великому алхимику вроде Джорджа Старки или Исаака Ньютона. Первое, что бы они сделали с ним, это пролистали бы его в поисках ответа на вопрос, нашли ли мы Философский камень. И они бы узнали, что мы нашли его! Мы реализовали их мечту!

Вот только нам она не так сильно нравится, поскольку после превращения металлов в золото оно получается радиоактивным. Постойте рядом со слитком преобразованного золота, и оно убьёт вас невидимыми волшебными лучами.

Можно представить, как сложно было бы сделать так, чтобы современные концепции радиоактивности и атомной энергии не звучали бы для них мистически.

Нам бы пришлось объяснить им, для чего мы используем «философский камень»: для изготовления металла, которого на планете никогда не существовало, и пары горстей которого достаточно для того, чтобы взорвать целый город, если столкнуть их с достаточно высокой скоростью.

Более того, нам пришлось бы объяснить алхимикам, что все звёзды в небе представляют собой «философские камни», преобразующие одни элементы в другие, и что все частицы в наших телах происходят из звёзд с небосвода, существовавших и взорвавшихся до появления Земли.

Наконец, они узнали бы, что взаимодействия, удерживающие наши тела в целости, отвечают за появление молнии в небе, а причина, по которой мы можем видеть, совпадает с причиной, по которой магнетит притягивает металлы, и по которой я могу стоять на полу, не проваливаясь.

Они узнали бы, что всё, что мы видим, к чему прикасаемся и что обоняем, управляется одним этим взаимодействием, подчиняющимся настолько простым математическим законам, что их можно написать на учётной карточке. Почему они такие простые – это загадка и для нас. Но для них это выглядело бы, как чистый мистицизм.

И я думаю, что с теорией разума мы находимся примерно в таких же условиях. У нас есть важные подсказки. Самая важная – ощущение сознание. Коробка с мясом на моей шее осознаёт себя, и, надеюсь (если мы не живём в симуляции), вы ощущаете то же, что и я.

Но хотя это самый простой и очевидный факт в мире, мы понимаем его настолько плохо, что даже не можем сформулировать о нём научные вопросы.

У нас есть и другие подсказки, которые могут оказаться важными или ложными. Мы знаем, что все разумные существа спят и видят сны. Мы знаем, как мозг развивается у детей, мы знаем, что эмоции и язык оказывают глубокое влияние на сознание. Мы знаем, что разуму нужно играть и обучаться взаимодействию с миром, до тех пор, пока он не достигнет полноты возможностей.

У нас также есть подсказки из информатики. Мы обнаружили компьютерные технологии, распознающие изображении и звуки способом, который вроде бы имитирует предварительную обработку визуальной и аудиоинформации в мозге.

Однако есть множество вещей, по поводу которых мы жестоко ошибаемся, и, к сожалению, мы не знаем, какие именно это вещи. А ещё есть вещи, сложность которых мы критично недооцениваем.

Алхимик мог держать в одной руке камень, в другой – дерево, и считать их примерами «субстанции», не понимая, что дерево на порядки сложнее. Мы находимся на сходном этапе изучения сознания. И это здорово! Мы многому научимся. Однако есть одна цитата, которую я люблю повторять:

Если все будут размышлять о бесконечности, вместо того, чтобы ремонтировать канализацию, многие умрут от холеры.
— Джон Рич

В недалёком будущем ИИ и машинное обучение, с которыми мы столкнёмся, будут сильно отличаться от фантасмагорического ИИ из книги Бострома, и будут представлять собственные серьёзные проблемы.

Это похоже на то, как если бы те учёные из Аламогордо решили бы сконцентрироваться только на том, не взорвут ли они атмосферу, и забудут, что они вообще-то делают ядерное оружие, и должны понять, как с этим справиться.

Гнетущие этические вопросы машинного обучения связаны не с тем, что машины осознают себя и завоюют мир, а с тем, как одни люди смогут эксплуатировать других, или в результате беспечности реализуют аморальное поведение автоматических систем.

И, конечно, есть вопрос того, как ИИ и МО повлияют на власть. Мы наблюдаем за тем, как слежка де-факто неожиданным образом становится частью наших жизней. Мы не представляли себе, что это будет выглядеть именно так.

Так что мы создали мощнейшую систему социального контроля, и, к сожалению, вложили её в руки людей, отвлечённых на безумную идею.

Я надеюсь, что сегодня сумел показать вам опасность чрезмерного ума. Надеюсь, что после этого доклада вы будете чуть-чуть тупее, чем до него, и приобретёте иммунитет к соблазнительным идеям ИИ, которые, судя по всему, околдовывают более умных людей.

Все мы должны выучить урок кота Стивена Хокинга: не давайте гениям, управляющим индустрией, ни в чём вас убедить. Действуйте самостоятельно!

В отсутствии эффективного лидерства со стороны первых людей индустрии, именно мы должны делать всё сами – в том числе, обдумывать все этические проблемы, которые реально существующий ИИ приносит в мир.