Колокольчик для кошки: болтать — не значит делать

Перед вами перевод эссе Элиезера Юдковски «Cat-Belling Problems». Автор опубликовал его 4 сентября, после дебатов с Джеффри Ирвингом. Эти дебаты состоялись 3–7 августа на международной конференции ILIAD-2026, которая посвящена теоретическим и математическим аспектам безопасности и контроля искусственного интеллекта.

_{Основную часть текста я написал ещё в 2021 году, а закончил и опубликовал лишь сейчас. Сегодня рассуждения об ИИ, представленные здесь, могут показаться странными. Они родились в эпоху, когда люди всё ещё пытались собственным умом справиться с проблемой, которую теперь назвали бы «супералайментом». Они строили хитроумные планы собственного сочинения и не говорили при этом: «О, мы просто попросим Fable решить эту задачу».}

Это эссе о детской басне, которую я прочитал очень давно. Урок, который я из неё вынес, я пронёс через всю жизнь.

Это эссе о том, почему ваша гениальная схема решения проблемы выравнивания ASI оставляет меня совершенно равнодушным, а во время вашего рассказа о ней я заметно скучаю и раздражаюсь.

А ещё, хотя назвать это эссе в полной мере нельзя, это история об одном участнике онлайн-рассылки 1996 года, придумавшем проект реактивного двигателя. С неё удобнее всего начать, чтобы изложить общую идею, так что начнём именно с неё.

Бестопливный двигатель мистера Л.

В списке рассылки Extropians, на который я подписался ещё в незапамятные времена, когда мне было всего шестнадцать, состоял человек, чья фамилия начиналась на букву Л. У него имелся проект бестопливного двигателя для космического корабля: тот должен был создавать тягу, не выбрасывая массу в противоположную сторону. Двигатель он назвал собственным именем.*

_{*) Некоторые читатели, пожалуй, подумают так: «Как мистер Л. посмел назвать двигатель своим именем?! Какая самонадеянность! Какое высокомерие! От этого проекта дурно пахнет, у меня уже дурные предчувствия, так что, скорее всего, двигатель не работает». Во-первых, дело было примерно в 1997 году, а тогда к статусу изобретателей относились куда менее придирчиво. Называть изобретения своими именами было вполне обычным делом. Во-вторых, на мой взгляд, если бы двигатель работал, мистер Л. был бы совершенно прав, назвав его своим именем. Поэтому весь вопрос лишь в том, работает двигатель или нет. Иначе говоря, рассуждение «двигатель, скорее всего, не работает, потому что мистер Л. назвал его своим именем» — это плохой байесовский подход. В гипотетическом мире, где двигатель работает, у мистера Л. вполне может быть полное право дать ему своё имя. Тем более что на дворе 1997 год, и мы не так уж далеки от прежнего мира, где многие изобретатели поступали именно так.}

На первый взгляд это похоже на нарушение закона сохранения импульса. В традиционной физике, если космический корабль разгоняется в одну сторону, что-то другое непременно должно разгоняться в противоположную, а суммарное изменение импульса обязано равняться нулю. В научной фантастике, где постулируются иные физические законы, нарушающие это правило, двигатель вроде изобретённого мистером Л. называют «безопорным». Он нарушает третий закон Ньютона о равенстве действия и противодействия.

Как и следовало ожидать, многие участники рассылки Extropians стали допытываться у мистера Л., как же может работать его L-двигатель.

На самом деле (хотя не думаю, что Л. вполне это осознавал) проблема была настолько «сложной», что те, кто вообще потрудился попросить мистера Л. объясниться, проявили к нему и его идеям огромную открытость. Это был великий акт милосердия и верности этике научной дискуссии.

Мистер Л. показал всем анимированную гифку собственного изготовления. На ней был изображён круг, внутри которого по часовой стрелке вращались несколько небольших масс. В верхней точке круга движущиеся массы ускорялись, в нижней — замедлялись. Выходило, что с правой стороны цилиндра массы движутся быстрее, чем с левой, а значит, из-за большей центробежной силы должна возникать результирующая тяга вправо.

Прежде чем читать дальше, предлагаю вам самостоятельно подумать, в чём, по-вашему, заключается изъян двигателя мистера Л.*

_{*) Если вы из тех, кто уверенно указывает на ошибку, а потом оказывается неправ, то в моих глазах вы ничем не лучше мистера Л., а возможно, и хуже. Ведь когда человечество всё-таки решает сложные задачи, вы вносите в обсуждение скорее эмоции, чем разумные доводы. Но если вы, читая это, лишь осторожно выдвигаете предположение и затем ошибаетесь, это несравнимо лучше, чем вовсе не решаться на догадки.}

В чём изъян (нажмите, чтобы развернуть):

Массы ускоряются, двигаясь вправо в верхней части цилиндра, и замедляются, двигаясь влево в нижней. Сила, которая вызывает это ускорение, в точности уравновешивается центростремительной силой, удерживающей массы. Иными словами, «центростремительная сила» справа, необходимая, чтобы удерживать массы, движущиеся вправо наверху, в точности равна силе, удерживающей массы, движущиеся влево внизу.

Если бы шарики влетали в диск снаружи вверху, как футбольные мячи в ворота, а затем вылетали из него наружу внизу, правая половина цилиндра и впрямь разгонялась бы вправо. Следовательно, уравновешивающая сила, направленная в противоположную сторону, должна исходить от той части системы, которая толкает медленно движущийся вправо шарик наверху и поглощает энергию быстро летящего влево шарика внизу.

Когда мистеру Л. это объяснили, он ответил, что, разумеется, знает об этом. Но, по его словам, он разработал несколько сложных «компенсаторов», которые не дают силам скомпенсироваться точно.

Л. сказал, что у него есть таблица Excel, показывающая: суммарная сила всех взаимодействий в системе не равна нулю. Показать нам эту таблицу он не может, поскольку «компенсаторы» — ключевая и запатентованная часть конструкции.

Оставим в стороне возмущение тем, что мистер Л. хочет сохранить часть своего изобретения в тайне. В гипотетическом мире, где L-двигатель работает, мистеру Л. вполне может быть разумно скрывать некоторые его детали — так же как и назвать двигатель в свою честь.

Мой следующий вопрос другой. Отложим все суждения, вынесенные на промежуточном этапе. Как мы можем быть уверены, что Л. не изобрёл безопорный двигатель, если не можем заглянуть в его таблицу?

Допустим, мистер Л. был бы физиком, лауреатом Нобелевской премии, и обладал бы всеми качествами, необходимыми для выдающихся свершений. Вы по-прежнему были бы уверены, что в его невидимой таблице есть ошибки? И если да, то почему?

«Потому что L-двигатель нарушает закон сохранения импульса», — скажете вы. Но что, по-вашему, вы об этом знаете и откуда? «Ну, — мог бы ответить мистер Л. (хотя на самом деле он этого не говорил), — закон, который вы учили в школе, — это обобщение прошлого опыта. Люди до сих пор ни разу не видели, чтобы замкнутая система сама меняла свой суммарный импульс. Поэтому они выдвинули гипотезу об общем законе: ни одна замкнутая система не способна изменить собственный суммарный импульс. Но главный принцип науки в том, что в конечном счёте надо верить эксперименту. Если кто-то придумает хитроумную систему, не встречающуюся в природе, которая действительно меняет собственный суммарный импульс, и это подтвердится экспериментально, нам придётся исправить учебники и признать, что закона сохранения импульса, оказывается, всё-таки не существует».

Даже если до сих пор все видели только белых лебедей, то, назвав это наблюдение «Законом белых лебедей» и включив его в учебники, мы нисколько не укрепим это обобщение и не сделаем его более обязательным для реальности.

Или, как недавно в Твиттере процитировал Карл Фейнман, фрагмент электронного письма 1997 года:

Ричард Фейнман (мой отец) делил вечные двигатели на несколько видов. Вечные двигатели первого рода нарушают первый закон термодинамики (закон сохранения энергии). Вечные двигатели второго рода нарушают второй закон термодинамики (энтропия должна возрастать). Наконец, есть прочие вечные двигатели, которые, как утверждается, черпают энергию из иных законов физики.

Второй род встречается реже; единственный известный мне пример — тот, чертежи которого мне показывал отец. Время от времени к нему приходили люди с проектом вечного двигателя и спрашивали, стоит ли в него вкладываться. Один из таких двигателей, как утверждалось, извлекал тепловую энергию из воздуха и приводил в движение генератор. Изобретатели построили половину двигателя, которая, насколько они могли проверить, работала, и искали доверчивых инвесторов, готовых оплатить завершение. Изучив крайне запутанные чертежи, мы с отцом обнаружили «теплообменник», который должен был принимать тёплый фреон и холодный воздух, а на выходе давать горячий фреон и холодный воздух. Разумеется, этот теплообменник находился в ещё не построенной части.

«Прочие» вечные двигатели получают энергию за счёт пока неизвестных физических явлений: холодного синтеза, вакуумных флуктуаций или секретных новых законов физики, которые откроются лишь после уплаты 1 000 000 долларов. Они заслуживают куда более тщательного научного изучения, ведь вполне возможно, что кто-нибудь однажды откроет новый простой способ получения энергии.*

Примерно в 1970 году мой отец побывал на публичной демонстрации одной из таких «вечных машин». Он заметил, что сзади из машины выходит электрический шнур, вставленный в розетку. Когда он выдернул вилку из розетки и указал изобретателю, что «вечная машина», которой нужно питание от сети, на самом деле не вечна, изобретатель нажал кнопку на пульте — и машина взорвалась. Несколько зрителей получили тяжёлые травмы; кажется, один мужчина лишился руки. Изобретатель подал на моего отца в суд, утверждая, что взрыв устроил именно тот, а сам отец подозревал, что взрыв был намеренным. Но по итогам разбирательства отцу не пришлось ничего выплачивать.

Эпистемический статус: детские воспоминания, не проверявшиеся на достоверность. Первоначально это было электронное письмо 1997 года.

_{*) Карл Фейнман уточняет, что формулировка «заслуживают гораздо более тщательного изучения» — его собственный комментарий к поведению отца, а не обобщение, которое Ричард Фейнман прямо высказывал.}

L-двигатель принадлежит к тому же широкому семейству, что и «вечные двигатели»: он нарушает общепризнанный закон сохранения в физике. Если даже Ричард Фейнман изучал некоторые из таких устройств, кто вы такой, чтобы утверждать, что L-двигатель не заслуживает серьёзного научного исследования?

Если хотите, воспримите это как коан и придумайте собственный ответ, прежде чем читать дальше. Как мы можем быть уверены, что мистер Л. не разработал удачную систему компенсаторов и не проверил проект с помощью надёжной таблицы?

Мой ответ слишком объёмен, чтобы уместиться в спойлере, поэтому вам придётся проявить немного самодисциплины: остановитесь и найдите свой лучший ответ, прежде чем перейти к заголовку следующего раздела. Этот метод экспериментально подтверждён как способ ускорить обучение: он помогает точнее сопоставить прежнее состояние ума с любой новой мыслью, с которой вы вот-вот столкнётесь.

О чудесах, скрытых в сложных системах

Итак, мой ответ.

Закон сохранения импульса — не поверхностное обобщение, подобное «Закону белых лебедей», применённому ко всем лебедям. Закон для замкнутых систем следует из того факта, что каждое отдельное взаимодействие в известной физике сохраняет импульс.

Молекулы в целом сохраняют импульс, поскольку состоят из атомов, а атомы — из нуклонов и электронов, и каждое известное взаимодействие между нуклонами и электронами импульс сохраняет. Но и это не передаёт всей глубины закона: на самом деле речь идёт о… бла-бла… квантовой механике, теореме Нётер, инвариантных гамильтонианах… бла-бла. Однако для понимания сути этого достаточно.

Как только мистер Л. заявляет, что у него есть таблица, доказывающая работоспособность двигателя, мы сразу понимаем: в таблице кроется какая-то бухгалтерская ошибка. Причём понимаем это априорно, а не по итогам эмпирической проверки. Любая табличная модель, описывающая известные физические законы, будет суммой взаимодействий, ни одно из которых по отдельности не приводит к глобальному изменению суммарного импульса.

Сумма слагаемых, каждое из которых равно нулю, равна нулю.

Одно дело — заявить, что вы разработали альтернативную теорию физики, где импульс больше не сохраняется, и собираетесь продемонстрировать парящий в воздухе прототип, чтобы подтвердить свою правоту экспериментом. Это по крайней мере можно себе представить. Именно так Ричард Фейнман и относился к подобным случаям — как к заслуживающим исследования (хотя я не обязательно согласился бы с таким прямым утверждением).

Совсем другое дело — сказать: «Я собрал сложную систему из стандартных деталей, и в итоге она нарушает закон сохранения импульса. Причём я не просто наблюдал результат на опыте, но и проверил корректность конструкции по таблице». Это противоречит математике.

В физике нашей Вселенной в принципе могло бы существовать исключение: импульс перестаёт сохраняться, если космический корабль окрашен в определённый, точно заданный оттенок зелёного. Это крайне маловероятно, но логически возможно, и именно такими вещами Фейнман иногда занимался, когда ему приносили очередной экспериментальный результат.

Взять описание замкнутой системы без каких-либо новых физических явлений и на его основе прийти к нарушению закона сохранения импульса — вот это действительно невозможно.

Итак, не говоря уже о том, что априорная вероятность ошибки мистера Л. и без того очень высока, стоит ему заявить, что его безопорный двигатель работает благодаря сложному свойству системы, подтверждённому таблицей, и мы можем с уверенностью утверждать: он где-то ошибся.

Более того, как только мистер Л. заговаривает о хитрых шестернях и механизмах, ещё до упоминания таблицы, мы уже теряем надежду. Ответ на вопрос «Как вообще можно нарушить закон сохранения импульса?» не должен сводиться к расплывчатому рассказу о сложных шестернях и механизмах. Раз с серьёзной проблемой сталкивается каждая отдельная часть системы, покажите мне хотя бы одну часть, которая её преодолевает, и продемонстрируйте ключевую идею на простейшем примере.

Допустим, есть сумма слагаемых, которая, по моему мнению, равна нулю, потому что я полагаю, что каждое слагаемое в отдельности равно нулю. Если вы хотите как можно быстрее убедить меня в обратном, рассейте мой первоначальный скептицизм: покажите мне хотя бы одно ненулевое слагаемое. Если же вы с самого начала принимаетесь рассказывать, как искусно упорядочили суммирование, чтобы итог сразу всё доказывал, я немедленно теряю надежду.

Когда вы спрашиваете мистера Л.: «Почему закон сохранения импульса не исключает возможность создания вашего двигателя?», ваша единственная надежда в том, что мистер Л. поймёт, о чём вы спрашиваете. Он должен суметь встать на место эксперта и понять, почему тот обычно считает эту задачу очень трудной. И он должен быть готов сразу развеять ваш скептицизм, ответив на ключевой вопрос: какая именно часть всего предложения опровергает вполне естественный вывод о том, что безопорный двигатель нельзя построить из деталей, подчиняющихся закону сохранения импульса?

Даже если мы изначально очень благосклонны к мистеру Л., нам всё равно не хватит надежды, чтобы продолжать следить за его рассуждениями, когда он затягивает сложную историю с множеством шестерёнок и колёс.

Аргумент, снимающий трудности, может оказаться несколько сложнее исходного аргумента, утверждающего их наличие. Но прежде чем нам станут излагать мудрёные детали замысла мистера Л., хотелось бы услышать хоть какую-то ключевую идею, которая раздула бы крошечную искру надежды на то, что главная трудность преодолена.

А если вместо этого мистер Л. начнёт рассказывать о сложных колёсах и шестернях, мы поймём, что он не сумел взглянуть на ситуацию глазами скептически настроенного эксперта. Отсюда мы заключаем, что он, вероятно, не понимает сути проблемы. Тогда эта крошечная искра гаснет, и все его сложные подробности нас уже почти не интересуют.

Здесь я кратко упомяну событие 2026 года, хотя бо́льшая часть этой статьи была написана пятью годами ранее, в 2021-м. Речь о публичной дискуссии, которую я недавно провёл на конференции ILIAD с Джеффри Ирвингом (ранее работавшим в Google Brain, OpenAI и DeepMind, а ныне возглавляющим новую лабораторию Resolution). Беседа была заявлена как «Юдковский и Ирвинг пытаются — и терпят неудачу — урегулировать все свои разногласия за один час». Одна из затяжных тем касалась вопроса, можно ли считать «дебаты» перспективным подходом к супералайменту. Если просто поручить людям оценивать, пригоден ли ИИ для алаймента сверхинтеллекта, люди придут к неверному выводу. Но что, если вместо этого множество ИИ будут обсуждать этот вопрос между собой?

Одна из возможных проблем в том, что отдельные ИИ способны объединиться в рой и жертвовать собой ради друг друга. Но есть и другая: люди могут ошибаться в оценке противоположных аргументов в ходе дискуссии, а не только отдельных утверждений.*

_{*) Или, выражаясь точнее: причина, по которой мы пользуемся Научным методом, а не Схоластическим, вовсе не в том, что ни один учёный никогда не приходит к верному выводу без неопровержимых экспериментальных доказательств. Дело в том, что научное сообщество не способно правильно определить, кто из учёных прав (даже если кто-то и впрямь прав), без эксперимента, который буквально «вбивает» верный ответ им в голову. И лишь тогда большинство иногда это замечает.}

_{Вот недавний пример. Люди игнорируют исторические прецеденты, потому что их мозг считает историю просто телешоу, а предшественников — глупее себя, не знавших таких умных идей, как рынки предсказаний. Дело не в том, что специалистов по эффективному альтруизму (EA) никто не предупреждал о возможности появления ИИ раньше 2050 года. Существовала статья, где заранее излагались все причины, по которым официально выглядящая оценка в 2050 год неверна, и, как показало время, она оказалась права на ~100%. Но попытки провести «дебаты», которые позволили бы выявить этот верный, хорошо обоснованный ответ, оказались тщетными: даже получив правильный ответ, широкое сообщество не могло большинством голосов признать его верным, пока на него не обрушились неопровержимые доказательства. OpenPhil провёл конкурс с призовым фондом в 50 000 долларов на эссе, оспаривающие принятую тогда в OpenPhil оценку: медианный срок появления AGI — 2050 год, риск катастрофы — 5%. И все призы достались авторам эссе, отстаивавших более длительные сроки и меньшие риски.}

_{Если бы существовал метод, позволяющий разбить дебаты на чёткие части, которые группа судей всегда оценивала бы статистически объективно, то 2022 год стал бы прекрасным моментом, чтобы применить его в конкурсе эссе! Но за всю историю человечества такого метода так и не изобрели.}

_{Проблема, которая прослеживается на протяжении всей истории применительно к Схоластическому методу, не в том, что никому не хватает ума прийти к верному выводу без неопровержимых доказательств. Ведь именно такие умные люди и порождают гипотезы, которые затем проверяются экспериментально! Проблема в том, что большинство людей не могут определить, в каких из имеющихся аргументов логические шаги обоснованнее и какой из них, исходя из ранее полученных данных, ведёт к верному ответу. Беда в неспособности человеческих сообществ адекватно оценивать дискуссии, а не в ограниченности интеллекта отдельных людей, способных быстрее прийти к правильным ответам. Время от времени человечество рождает таких, как Эйнштейн, которые задолго до появления неопровержимых экспериментальных доказательств, способных убедить большинство, говорят верно: «Тогда мне было бы жаль Господа Бога — теория верна». Но стоит человечеству в целом обратить взор на каких-нибудь очень сдержанных и торжественных людей, одетых в одежду «серьёзных людей» своей эпохи, как выясняется: определить, чьи аргументы верны, они не в состоянии. В этом и состоит проблема Схоластического метода. Научный метод, напротив, пусть и на недолгий, неустойчивый период и лишь в нескольких институциональных кругах, сумел прислушаться к голосу неопровержимых экспериментальных свидетельств, когда пришло время решать, кому из учёных воздать должное за правоту. (Впрочем, во избежание недоразумений: многие конкретные научные области, как и торжественно выглядящие люди в торжественных одеждах, до этого уровня тоже не дотянули.)}

_{Так что да, заявление, будто вы проведёте нечто под названием «дебаты» и ваши судьи-люди всегда будут верно определять, какой ИИ привёл более убедительные доводы на каждом этапе обсуждения, — откровенно провокационное. Построить систему «дебатов», при которой Схоластический метод заработает с участием судей-людей, — это и есть «Проблема колокольчика».}

 

Источник