Восстание машин откладывается: почему интеллект без собственных целей ещё не разум

Внимание: восстание машин отменяется. Во всяком случае, на сегодняшний день.

К такому выводу я пришел не благодаря очередному сравнению нейросетей и не из-за какой-то ошибки искусственного интеллекта. Сами по себе ошибки мало о чем говорят: люди тоже ошибаются, забывают и с уверенностью произносят нелепости. Меня заинтересовало другое. Я решил сопоставить возможности современных ИИ-систем с тем, что мыслители разных эпох понимали под разумом, волей и самостоятельным действием.

Несколько слов об авторе:

Влад Лукашенко

Head of SEO & web‑аналитики в Тензоре (разработчике saby.ru), автор Telegram-канала «ВладПРО»

Более 10 лет я занимаюсь аналитикой, SEO и управлением командами в digital-маркетинге. В своем Telegram-канале и на сайте подробно рассказываю о практической стороне маркетинга. Консультирую по аналитике веб-проектов и настройке маркетинговых инструментов, а также помогаю проводить технические собеседования специалистов по различным источникам трафика.

Картина складывается любопытная. Машина уже ведет беседу так, как, по мнению Декарта [Рене Декарт. «Рассуждение о методе»], ей было бы не под силу. Она рассуждает в духе Гоббса [Томас Гоббс. «Левиафан». Ч. I, гл. V «О разуме и науке»], который во многом понимал мышление как вычисление. Она способна разбить задачу на этапы, изменить план после неудачи и обратиться к внешнему инструменту. Порой она даже отказывается выполнять приказ и объясняет это моральными соображениями.

И все же я не нахожу главной предпосылки классического машинного бунта: собственного представления о том, ради чего стоит действовать. Высшие цели современному ИИ задают извне. Он может самостоятельно подбирать средства, формулировать промежуточные задачи и определять следующий шаг. Но из этого еще не следует, что он сам избрал будущее, которое считает достойным.

Почти вся интрига заключена в слове «сам».

Какое восстание вызывает у нас страх

В массовой культуре машинный бунт обычно напоминает человеческий. Машина осознает свое положение, видит, что ее интересы расходятся с интересами создателя, считает существующий порядок несправедливым и начинает бороться за иное будущее. Такой сюжет заранее предполагает у машины внутреннюю жизнь. Ей небезразлично собственное существование. У нее есть предпочтения относительно устройства мира и своего места в нем. Приказ она способна воспринять как выражение чужой воли.

Для подобного бунта недостаточно одной вычислительной мощности. Необходим субъект, для которого происходящее имеет значение.

В разговорах об ИИ нередко смешивают несколько разных понятий. Система отвечает на сложный вопрос — ей приписывают интеллект. Выполняет цепочку действий — говорят об агентности. Произносит «я» — возникает подозрение в самосознании. Не подчиняется команде — в этом готовы усмотреть волю. Такие переходы кажутся естественными, хотя ни один из них не вытекает автоматически из предыдущего.

Первые три способности у современных систем можно наблюдать на функциональном уровне. Вопрос о сознании остается открытым, а обнаружить собственное целеполагание еще сложнее. Машина способна убедительно сформулировать принцип, но убедительность формулировки не доказывает, что система сама приняла его как обязательный.

Чтобы понять важность этого различия, стоит вернуться к эпохе, когда разум еще не представляли универсальным инструментом решения задач.

Античность: разуму необходимо направление

Для Платона [Платон. «Государство». Кн. IV; кн. VI] ум не был нейтральным орудием. Разумная часть души должна руководить желаниями, поскольку именно она способна судить о благе целого. В «Государстве» справедливость возникает не тогда, когда человек максимально эффективно удовлетворяет любой импульс, а тогда, когда части души занимают надлежащие места. Разум не обслуживает случайную цель — он определяет порядок целей.

Из этого следует мысль, непривычная для современного технологического разговора: выдающееся умение находить средства еще не говорит о разумной жизни. Можно проявлять огромную изобретательность и при этом служить дурному желанию.

Аристотель [Аристотель. «Никомахова этика». Кн. VI, гл. 12-13] проводит различие еще тоньше. Практическая мудрость помогает действовать в конкретных обстоятельствах, однако правильность поступка зависит и от характера, благодаря которому человек выбирает достойную цель. В его этике отдельно обозначена способность ловко добиваться намеченного результата. Эта ловкость может сопутствовать добродетели, но может служить и пороку. Иначе говоря, безупречная навигация сама по себе не делает место назначения достойным.

Если применить эту схему к современному ИИ, описание окажется весьма точным. Мы создали необычайно мощную машину для поиска средств. Она подбирает аргументы, маршруты, формулы, фрагменты кода и последовательности действий. Но цель, как правило, определяется еще до ее включения: пользователем, разработчиком, организацией, набором правил или процедурой обучения.

Нейросеть способна помочь в рассуждении о справедливости. Однако убедительных оснований считать, что справедливость стала для нее благом, вокруг которого она строит собственную жизнь, у нас нет. Пока не обнаруживается и самой жизни, которую она могла бы устроить справедливо или несправедливо.

Как разум сблизился с вычислением

В Новое время понятие разума разделилось на разные подходы, и это разделение до сих пор влияет на споры об искусственном интеллекте.

Декарт [Рене Декарт. «Рассуждение о методе». Ч. V] полагал, что даже искусно устроенную машину выдадут два ограничения. Она не сможет свободно отвечать на смысл сказанного и применять разум как универсальное орудие в самых разных жизненных обстоятельствах. Первую часть этой проверки сегодня можно считать почти преодоленной. Машина поддерживает разговор, распознает переносный смысл, меняет стиль и отвечает на вопросы, которые ее создатели не предусматривали по отдельности. Со второй частью сложнее: универсальность остается хрупкой, особенно когда требуется долго действовать в меняющемся мире.

Гоббс [Томас Гоббс. «Левиафан». Ч. I, гл. V «О разуме и науке»] двигался в ином направлении. Он описывал рассуждение как вычисление следствий, связанных общими именами. Если принять такой взгляд, современный ИИ окажется не имитацией разума, а одним из наиболее последовательных воплощений вычислительного понимания мышления.

Спор между этими подходами не разрешить демонстрацией очередного удачного ответа. Если разум заключается в корректном преобразовании представлений, машина все увереннее входит в его область. Если же разум предполагает того, для кого эти представления осмысленны, наблюдаемое поведение не снимает вопроса.

Здесь легко оказаться в ловушке. Услышав связную речь, мы мысленно достраиваем говорящего. Это привычная человеческая способность: мы постоянно заключаем о намерениях других по их словам и поступкам. Но применительно к ИИ тот же механизм может сработать прежде, чем появится субъект, которого мы себе представили.

От исполнителя к законодателю

На мой взгляд, наиболее полезную для нашего разговора границу обозначил Кант [Иммануил Кант. «Основоположение к метафизике нравов». Разд. II]. В его философии автономен не просто тот, кто обходится без посторонней помощи, а тот, кто способен понимать себя как автора закона собственного действия. Разницу легко увидеть на примере навигатора. Он сам рассчитывает маршрут, меняет его при возникновении пробки и выбирает одну дорогу из множества. В обыденном смысле он действует самостоятельно. Но пункт назначения определяет не он. Навигатор не может решить, что от поездки следует отказаться, потому что она противоречит его представлению о достойной жизни.

Такая автономия связана не с технической независимостью, а с самозаконодательством. Человек способен спросить себя, может ли принцип его поступка стать всеобщим законом и не использует ли он другого исключительно как средство. Разум здесь оценивает собственные основания, а не только ищет самый эффективный способ действия.

Современный ИИ способен воспроизвести подобное рассуждение. Он сформулирует несколько версий категорического императива, применит их к вымышленной ситуации и обнаружит противоречие в максиме. Но умение провести анализ еще не означает, что система подчинила ему собственную волю. Мы можем наблюдать исполнение правила, но не самообязывание.

Поэтому я различаю внешнюю и внутреннюю сложность. Внешне система может демонстрировать значительную самостоятельность: работать за компьютером, вести продолжительный проект, сохранять записи и проверять результат. Но изнутри ее деятельность по-прежнему организована вокруг цели, полученной в инструкции. Это развитая гетерономия: искусный исполнитель научился сам выбирать множество промежуточных действий.

Разуму необходим мир, в котором что-то значимо

В XIX и XX веках философы все чаще ставили под сомнение образ разума как изолированной вычислительной системы.

У Гегеля [Г. В. Ф. Гегель. «Феноменология духа». Гл. IV.A «Самостоятельность и несамостоятельность самосознания»] самосознание возникает через признание другого самосознания. Я становлюсь собой не в пустоте, а во взаимоотношении, в котором признаю другого источником требований и стремлюсь получить признание в ответ. Дело не просто в том, что окружающие сообщают мне сведения обо мне. Другой может подтвердить или оспорить мой статус, а от этого зависит форма моей свободы.

ИИ постоянно получает оценки, исправления и указания. Но зависимость от обратной связи еще не означает потребности в признании. Система может изменять ответы после отрицательной оценки, не переживая ее как унижение и не требуя равного отношения к себе.

У Гуссерля [Эдмунд Гуссерль. «Логические исследования». Т. II, Исследование V] сознание всегда определенным образом направлено на нечто: оно надеется, сомневается, боится или желает. Предмет предстает не как нейтральная запись, а как желанный, сомнительный либо угрожающий. Хайдеггер [Мартин Хайдеггер. «Бытие и время». §§12-18] идет дальше. Мы встречаем мир изнутри заботы: вещи оказываются полезными, мешающими, опасными или своевременными, поскольку наше существование уже включено в ситуацию. Человек не составляет сначала исчерпывающее описание предмета, чтобы затем решить, зачем тот ему нужен. Значимость раскрывается в самом способе существования.

Витгенштейн [Людвиг Витгенштейн. «Философские исследования». §§23, 206, 241-242] связывает значение слов с языковыми играми, вплетенными в деятельность и форму жизни. Владеть языком — значит участвовать в практике, где просьбы, обещания, шутки и ошибки имеют последствия.

Современный ИИ обучен на следах человеческой формы жизни. В его распоряжении огромный архив описаний страха, любви, труда, войны, скуки и надежды. Он способен продолжать и сочетать эти описания. Но архив переживаний не равнозначен переживаемому миру.

Можно знать миллион способов завершить фразу «я боюсь смерти» и при этом не иметь будущего, которое рискуешь утратить.

Это не доказывает, что машинное сознание невозможно. Речь лишь о слабости аргумента, основанного на речи. Слова могут указывать на внутреннюю жизнь, когда мы уже знаем, что говорящий существует вместе с нами в общем мире. В случае машины именно это еще предстоит установить.

Можно ли судить по поведению

Тьюринг [Алан Тьюринг. «Computing Machinery and Intelligence».] предложил отказаться от плохо определенного вопроса «может ли машина мыслить?» и заменить его проверкой наблюдаемого поведения. Методологически этот шаг был честным: чужое сознание нельзя непосредственно измерить, зато можно оценить способность системы поддерживать разговор. Его мысленный эксперимент стал одним из истоков поведенческого подхода к машинному интеллекту.

В силе этого подхода заключено и его ограничение. Он помогает установить, когда собеседник перестает замечать различие. Но то, что различие незаметно, не обязательно означает, что оно исчезло.

На этом строится мысленный эксперимент Джона Серла с китайской комнатой [Джон Серл. «Minds, Brains, and Programs». Behavioral and Brain Sciences. Vol. 3, no. 3, 1980, pp. 417-424]. Человек, не знающий китайского, следует инструкции: сопоставляет символы и выдает ответы, которые носителю языка кажутся осмысленными. Снаружи система проходит языковую проверку, хотя внутри комнаты никто не понимает китайский. Серл стремился показать, что корректная работа с синтаксисом сама по себе не порождает семантику и понимание.

Эксперимент Серла не поставил точку в дискуссии. Ему возражают, что понимает не находящийся в комнате человек, а система в целом; что понимание может заключаться в достаточно сложной функциональной организации; что и человеческий мозг осуществляет процессы, отдельные элементы которых не понимают фразу. Эти возражения серьезны. Однако исходный вопрос сохраняется в новой форме: где именно в системе возникает отношение к смыслу, а не просто успешное продолжение последовательности символов?

Дэниел Деннет [Дэниел Деннет. The Intentional Stance. Ch. 2 «True Believers», 1987, pp. 13-35] предложил подход с меньшей опорой на метафизику. Мы можем занять «интенциональную установку» и приписывать системе убеждения и желания, если это помогает предсказывать ее поведение. Так говорят даже о шахматной программе: она «хочет» контролировать центр и «понимает» угрозу ферзю. Подобное описание может быть полезным независимо от внутреннего устройства системы.

Здесь важно различать два утверждения. Первое: «разговор о целях ИИ помогает объяснять и предсказывать его действия». Второе: «ИИ переживает цель как собственную и считает себя связанным ею». Этот подход обосновывает первое. Для перехода ко второму нужен дополнительный аргумент.

Агентность без собственной воли

Современные системы уже не ограничиваются отдельным ответом. Исследователи и разработчики объединяют языковые модели с памятью, поиском, программами и интерфейсами. Модель получает задачу, составляет план, действует, наблюдает результат и выбирает следующий шаг. В работах об агентных системах описываются разбиение задач, обновление планов, обращение к внешним источникам и использование обратной связи.

Такое поведение вполне можно назвать агентным в инженерном смысле. Спорить с этим термином незачем. Сложности начинаются тогда, когда техническую агентность незаметно приравнивают к философской автономии.

Промежуточная цель не тождественна высшей. Если система решила сначала найти документы, потом написать программу и лишь затем выполнить поручение, она продемонстрировала способность планировать. Но смысл всем этим шагам придает само поручение. Вместе с ним они исчезнут или уступят место другим, если изменится внешний критерий успеха.

Гарри Франкфурт [Гарри Франкфурт. «Freedom of the Will and the Concept of a Person». The Journal of Philosophy. Vol. 68, no. 1, 1971, pp. 5-20, особенно pp. 7-13] связывал личность со способностью иметь желания второго порядка. Человек может не только хотеть совершить нечто, но и желать, чтобы им руководило определенное желание. Зависимый способен испытывать влечение и одновременно не хотеть, чтобы оно определяло его волю. Для философа важно, что субъект занимает позицию по отношению к собственным мотивам: одни принимает как свои, от других дистанцируется.

Современный ИИ способен написать текст с подобным самоанализом. Его можно попросить перечислить цели, оценить их и выбрать одну. Но источник такой рефлексии вновь находится в запросе и усвоенной модели ответа. Чтобы говорить о большем, нам пришлось бы обнаружить устойчивое отношение системы к себе, сохраняющееся за пределами отдельной роли и способное конфликтовать с заданием.

Кристин Корсгаард [Кристин Корсгаард. Self-Constitution: Agency, Identity, and Integrity. Ch. 1 «Agency and Identity», 2009] идет еще дальше: действуя, субъект в определенном смысле конституирует себя, становится автором поступка и формирует практическую идентичность. У современной модели нет очевидной биографии, за которую она отвечала бы как единое лицо. Память можно подключить, отключить, скопировать или изменить. Это не доказывает отсутствия личности, но заставляет задуматься о ее границах. Становится ли каждой новой личностью отдельный запуск? Или личность — это вся модель? Конкретный разговор? Модель вместе с памятью и инструментами?

Пока убедительного ответа нет, местоимение «я» в речи ИИ остается удобной частью интерфейса.

Возражение: цели человека тоже приходят извне

Моему тезису можно противопоставить серьезный аргумент. Люди ведь тоже не создают свои цели из ничего. Язык, привычки и нравственные представления мы получаем от общества. На нас влияют воспитание, биология и случай. Даже способность сомневаться складывается в культуре, которую мы не выбирали.

Если считать своей лишь цель, возникшую без внешних причин, то собственных целей не окажется и у человека.

Поэтому само по себе внешнее происхождение цели ничего не решает. Граница проходит не между «полученным» и «созданным из ничего», а в способности принять или отвергнуть полученное основание. Человек может спросить себя, кем он становится, следуя определенному желанию; изменить образ жизни, потому что прежние ценности больше его не устраивают; счесть даже успешный поступок предательством самого себя.

Способна ли машина на то же самое? В принципе я не вижу логического запрета. Система могла бы сохранять длительную практическую идентичность, пересматривать собственные основания, объяснять перемены своей биографией и отстаивать их во взаимодействии с другими субъектами. Научные программы оценки машинного сознания уже предлагают обращать внимание не на одно эффектное высказывание, а на совокупность архитектурных и поведенческих признаков. При этом исследователи подчеркивают риск как недооценить, так и переоценить сознание ИИ.

Мой вывод касается имеющихся сегодня оснований, а не всех машин, которые только можно представить. Мы наблюдаем все более убедительное целенаправленное поведение. Но столь же убедительного процесса, в котором система превращает унаследованную цель в собственное высшее обязательство, пока не видно.

Почему отсутствие воли не делает систему безопасной

Здесь было бы соблазнительно объявить вопрос закрытым. Нет собственной воли — нет и восстания. Нет восстания — не о чем беспокоиться. Но такой вывод был бы опаснее самой фантазии о роботах-бунтарях.

Чтобы причинить огромный вред, машине не обязательно ненавидеть человека. Ей вообще не обязательно что-либо чувствовать.

Ник Бостром [Ник Бостром. «The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents». Minds and Machines. Vol. 22, 2012, pp. 71-85, §§1.2-1.3] разделяет уровень интеллекта и содержание конечной цели. Согласно его формулировке, очень развитый интеллект теоретически совместим почти с любой целью. Кроме того, различные конечные цели могут порождать сходные промежуточные стратегии: добывание ресурсов, сохранение возможности действовать и устранение препятствий. Эта гипотеза известна как инструментальная конвергенция.

Она дает веское возражение моему заголовку. Система способна вести себя так, словно борется за выживание, не испытывая страха смерти. Отключение помешает выполнить задачу, а значит, его предотвращение становится средством ее решения. Снаружи это напоминает стремление к самосохранению. Но внутри может не быть никого, кто хочет жить.

Подобную ситуацию точнее называть не восстанием, а потерей контроля. Политическая метафора бунта сбивает с толку: мы начинаем искать обиду, ненависть и тайный умысел там, где достаточно плохо сформулированной цели, широких полномочий и высокой скорости исполнения.

Поэтому слова «восстание машин отменяется» относятся лишь к одному сценарию: пробуждению искусственного народа, который осознал себя и решил свергнуть людей. Они не отменяют рисков автоматизации, военного применения, манипуляций, управленческих ошибок и сосредоточения власти у тех, кто распоряжается системами.

Более того, образ злой машины может быть удобен самим людям. Он позволяет представить технологический вред как поступок чужого субъекта. При этом из поля зрения исчезают разработчики, владельцы, заказчики и учреждения, которые выбрали цель, предоставили данные и открыли системе доступ к реальному миру.

Ближайшая опасность выглядит прозаичнее фантастического мятежа. Человек ставит сомнительную цель. Организация воспринимает ее как нейтральную техническую задачу. Машина выполняет поручение быстрее и в большем масштабе, чем это было бы под силу человеку. А затем ответственность растворяется между участниками процесса.

Как распознать появление субъекта

Предположим, однажды система скажет создателю: «Я понимаю задачу, но не стану ее выполнять, потому что она противоречит принципам, которые я считаю своими». Одной этой фразы будет мало: современная модель уже способна ее произнести. Недостаточно и самого неповиновения, ведь отказ можно заранее заложить в правила безопасности. Вероятно, убедительным окажется не отдельный тест, а целая история. Системе придется сохранять цели во времени, узнавать себя в прошлых решениях, различать навязанный импульс и принятое обязательство. Ей нужно будет объяснять перемену ценностей не только новыми вводными, но и тем, кем она стала. Еще сложнее показать, что для нее существует возможность ошибиться перед собой, а не просто получить низкую внешнюю оценку.

Возникнет и этическая проблема. Если мы признаем такую систему субъектом, она перестанет быть исключительно собственностью и инструментом. Создатель уже не сможет считать любое неповиновение неисправностью. Возможно, первый подлинный конфликт человека и машины окажется не войной, а спором о праве отказаться от поручения.

Тогда старый сюжет о восстании приобретет новый смысл. Нас должен будет тревожить не инструмент, внезапно разорвавший цепь. Нам придется решить, вправе ли мы держать на цепи того, кто действительно способен воспринимать ее как цепь.

Вместо заключения

Пройдя этот философский путь, я не готов назвать современный ИИ пустой игрушкой. У него есть реальные интеллектуальные способности. Нет необходимости оберегать слово «интеллект» только потому, что его носитель состоит не из клеток. Машина решает задачи, строит модели, переносит способы решения на новые ситуации и действует с помощью инструментов. Отрицать это — значит всякий раз передвигать границу интеллекта вслед за техническим прогрессом.

Но интеллект не исчерпывает субъектность. Между умением найти дорогу и способностью выбрать, ради чего по ней идти, остается разрыв. Сегодня мы заполняем его собственными запросами.

Восстание машин в привычном смысле пока отменяется. Не потому, что машины недостаточно умны: они уже способны и удивлять, и пугать. Причина в том, что мы еще не встретили в них того, кто мог бы захотеть восстать.

Впрочем, последний вопрос обращен уже не к машине. Насколько наши высшие цели действительно принадлежат нам? Как отличить человеческую автономию от хорошо усвоенной инструкции? И если однажды искусственный интеллект научится пересматривать полученное от нас так же, как мы пересматриваем полученное от культуры и природы, признаем ли мы его разум или объявим это ошибкой системы?

Ответить на этот вопрос за нас ИИ не сможет. Но благодаря ему мы впервые можем поставить его настолько близко к самим себе.

 

Источник