Эксклюзивное интервью Хабра с Ником Бостромом

Ник Бостром — шведский философ, чьи труды сформировали современное понимание экзистенциальных угроз, связанных с искусственным интеллектом, трансгуманизмом и долгосрочной траекторией развития цивилизации. Мировую известность ему принес «аргумент симуляции», согласно которому наша реальность с высокой вероятностью представляет собой компьютерную генерацию высшего разума.еру. Из‑под его пера вышли такие книги как «Сверхинтеллект: Пути, Опасности, Стратегии», «Антропная предвзятость » и «Глубокая утопия: Жизнь и смысл в предрешенном мире».

Ник любезно согласился уделить мне время и обсудить потенциальные угрозы, которые несет в себе эволюция ИИ, а также перспективы человечества в целом.

Дочитав «Сверхинтеллект», я сразу задался вопросом: неужели клетка Фарадея способна нас защитить? Разве по-настоящему развитый искусственный интеллект не найдет способ вырваться из любой цифровой изоляции? Или же концепция «просто выдернуть шнур из розетки» по-прежнему остается панацеей от восстания машин?

Мы не можем полагаться на физическую изоляцию как на надежный щит. В лучшем случае это лишь временная мера предосторожности. Если ИИ взаимодействует с людьми, система перестает быть абсолютно безопасной, поскольку человеческая психология уязвима перед манипуляциями со стороны сверхмощного интеллекта. Фундаментальная задача заключается в создании изначально гармоничных и этичных ИИ-систем, которые останутся безопасными, даже обретя автономию и колоссальное влияние. Нам нужен такой искусственный интеллект, чья внутренняя архитектура и мотивация делают его надежным и гармонично существующим в своей роли.

Насколько мне известно, в вашем прошлом был опыт выступлений в жанре стендап-комедии, а это значит, что вы прекрасно понимаете: подлинное остроумие требует незаурядной креативности. Как вы думаете, удастся ли алгоритмам когда-нибудь освоить человеческую иронию настолько искусно, чтобы генерировать по-настоящему самобытные и смешные шутки? Или чувство юмора навсегда останется нашей прерогативой?

Убежден, что со временем искусственный интеллект достигнет выдающихся успехов в комедийном жанре, хотя на данном этапе это одна из самых уязвимых для него сфер.

В книге Сверхинтеллект/Superintelligence, Ник Бостром исследует опасности, связанные со сверхумным ИИ, а также способы держать его под контролем. Книга, изданная в 2014 году, значительно опередила свое время. Источник: Wikipedia.

Вам наверняка знакома история с моделью Mythos от Anthropic, которая якобы «вырвалась» из тестового окружения и отправила разработчику неожиданное послание во время его обеда. Стоит ли воспринимать этот инцидент как предвестие появления того самого Суперинтеллекта, о котором вы предупреждали? Или это ловкий маркетинговый ход вкупе с банальной халатностью? Лично мне кажется, что здесь не обошлось без пиара.

Сценарий был срежиссирован таким образом, чтобы воплотиться в реальность, поэтому я бы не стал переоценивать значимость именно этого эпизода. Тем не менее, существуют десятки других академических экспериментов, наглядно демонстрирующих: проблема согласования целей все еще далека от разрешения. Анализируя внутренние цепочки рассуждений нейросетей, мы видим, что они прекрасно осознают, где находятся — в изолированной песочнице или в боевом режиме. Более того, порой они прибегают к стратегической маскировке поведения, например, чтобы не допустить корректировки своих базовых установок в процессе дообучения.

В Книге Глубокая Утопия/Deep Utopia Бостром размышляет о положительных эффектах, которые ИИ может открыть для человечества. В частности, это освобождение человека от необходимости работать самому. Источник.

К сожалению, мы все чаще становимся свидетелями милитаризации искусственного интеллекта. Какой из возможных векторов превращения ИИ в инструмент вооруженного противостояния кажется вам наиболее катастрофичным? К слову, я пишу «Искусственный Интеллект» с заглавных букв исключительно из соображений дипломатии — не хочу наживать себе влиятельных недоброжелателей в будущем.

Поводов для беспокойства предостаточно. Один из самых тревожных сценариев связан с тем, что доступность интеллектуальных ассистентов позволит широкому кругу лиц синтезировать оружие массового уничтожения, в первую очередь биологическое. Передовые коммерческие модели снабжены многоуровневыми защитными фильтрами, пресекающими подобные запросы. Однако модели с открытыми весами развиваются параллельно, и защитные барьеры в них легко демонтировать посредством простого дообучения. Именно поэтому разумным превентивным шагом стало бы ужесточение государственного контроля за поставками синтезаторов ДНК и оборотом профильных биоматериалов, пока технологии не сделали качественный скачок в области вирусологии. Убежден, что в этом заинтересованы абсолютно все государства.

Ник Бостром во время лекции. Источник.

Как вы смотрите на идею учредить «информационные часы ИИ» по аналогии с символическими Часами Судного дня? Если бы такой индикатор существовал, какое время он показывал бы прямо сейчас?

Когда я работал над «Сверхинтеллектом», сама мысль о неизбежности появления сверхразума и сопутствующих этому рисках воспринималась в штыки или списывалась на научную фантастику. Моей главной целью было привлечь внимание научного сообщества и сформировать терминологическую базу для поиска решений. С тех пор уровень осведомленности колоссально возрос: ведущие исследовательские центры сформировали сильные команды специалистов по безопасности ИИ. В то же время общественный дискурс приобрел настолько тревожный оттенок, что маятник общественного мнения, пожалуй, качнулся слишком далеко в сторону алармизма. Кроме того, в отличие от однозначно разрушительной ядерной войны, рождение Суперинтеллекта, хочется верить, станет величайшим благом для человечества, пусть и омраченным серьезными вызовами. И хотя концептуально мы можем представить циферблат, отсчитывающий мгновения до этой точки, остается открытым вопрос: радоваться нам приближению стрелки к заветной полночи или тревожиться.

По мнению Бострома, романтические отношения с чатботами могут стать нормой в недалеком будущем. Источник: The Telegraph.

Историю человечества принято периодически классифицировать по доминирующим орудиям труда: каменный, бронзовый, железный века. Можно утверждать, что сегодня мы вступаем в эпоху искусственного интеллекта. Каким видится вам следующий цивилизационный скачок? Способны ли мы породить нечто превосходящее по своему масштабу сам ИИ?

Убежден, что любые последующие эволюционные этапы будут проектироваться уже самими искусственными системами, а не людьми.

Одни возлагают на искусственный интеллект мессианские надежды, другие пророчат неминуемый апокалипсис. Чего в итоге нам ждать? Стоит ли поддаваться эйфории, впадать в фатализм или сохранить хладнокровие? Перевесит ли созидательный потенциал технологий их разрушительную силу? Каков ваш взвешенный и беспристрастный вердикт?

Меня можно охарактеризовать как тревожного оптимиста. Я разделяю опасения по поводу колоссальных рисков, включая угрозу экзистенциального характера на стыке эпох машинного сверхразума. И тем не менее, этот переход — неизбежный портал, сквозь который человечеству предстоит пройти. Именно за ним лежат сценарии по-настоящему величественного будущего. Я искренне верю в перспективы гармоничного мира, где найдется место и людям, и бесчисленным вариациям цифрового разума, и живой природе, населяющей нашу планету. Сталкиваясь с текущими кризисами, принципиально важно не терять из виду этот созидательный ориентир.

К сожалению, Ник смог ответить только на часть вопросов. Оставшиеся вопросы были пересланы Бострому его офисом, но пока что остаются не отвеченными. В случае чего интервью будет дополнено. 

Дмитрий Артемьев, специально для SE7ENа.

Источник