Позвольте машине ошибаться

Каждый писатель и мыслитель минувших эпох хоть раз пытался заглянуть в будущее. Как станут жить люди? Каким окажется мир и какое место в нём займут технологии? Превратятся ли машины в незаменимых помощников человека или в его новых господ?

Гипотез было множество, но к истине приблизились единицы. Сегодня большинство таких картин «нашего настоящего» вызывают улыбку, а то и откровенный смех. Крылатые пожарные и почтальоны, ролики на бензиновой тяге, атомные пылесосы — всё это, увы, так и не вошло в наш быт. Зато в нём прочно обосновался искусственный интеллект.

Разумеется, мыслители и фантасты прошлого немало размышляли и о нём. Его воображали то живым часовым механизмом, то сбоем в логической системе, то машиной, которую придётся воспитывать, как младенца или щенка.

Сегодня никого не удивишь тем, что современный ИИ учится на гигантских массивах данных и непрерывно совершенствуется. Для XIX века же эта идея была поистине смелой. Если поразмыслить, можно прийти к выводу неочевидному, но закономерному. К нему незадолго до смерти пришёл и Алан Тьюринг: если мы не хотим катастрофы, искусственный интеллект должен ошибаться.

«Он просто давал ответы на вопросы. Но все пошло кувырком, потому что на слишком многие вопросы были даны слишком точные ответы».

Мюррей Лейнсер, «Логический компьютер по имени Джо»

Галлюцинации современных нейросетей — не дефект, а издержки. Да, они ошибаются, но иначе и быть не может. Такова цена, которую пришлось заплатить за гибкость нейросетей и их умение улавливать контекст. Стремясь сделать из ИИ стерильный безошибочный инструмент, мы рискуем завести его развитие в тупик жёстких правил, где машина становится либо бесполезной, либо опасной для общества.

В защиту этой позиции я расскажу о трёх произведениях трёх разных авторов. Каждый по-своему видел будущее и искусственный интеллект, и каждый по-своему оказался прав.

«Дарвин среди машин»

В 1863 году английский писатель, один из классиков викторианской литературы, Сэмюэл Батлер написал эссе «Дарвин среди машин». Мир тогда лишь начинал осмыслять революционную теорию Чарльза Дарвина. Эссе было оформлено как письмо главному редактору новозеландской газеты «The Press». Формулировки автора звучали строго, почти научно, и в то же время эмоционально.

Батлер решил приложить свежую эволюционную теорию Дарвина к миру неодушевлённых механизмов. Скорость технического прогресса поражала на фоне неторопливой эволюции растений и животных, и это наводило автора на тревожные вопросы: куда движется эта сила, к чему стремится и чем всё закончится.

В качестве примера он взял карманные часы. В эволюции размер не всегда служит преимуществом: гигантские рептилии древности вымерли, уступив место более компактным существам. То же произошло и с карманными часами, которые заметно уступают в габаритах своим громоздким напольным предшественникам:

«Может наступить день, когда часы — те, что ныне, конечно, не уменьшаются в объеме, — будут совершенно вытеснены повсеместным употреблением карманных часов; тогда такие часы вымрут, как ранние ящеры, а карманные часы (чья тенденция уже несколько лет скорее к уменьшению размера, нежели к обратному) останутся единственным существующим типом вымершей расы».

Батлер утверждал, что технологии образуют новую форму «механической жизни», которая проходит собственный путь эволюции.

«Мы имеем в виду вопрос: какого рода существо, по всей вероятности, станет следующим преемником человека в господстве на Земле. Мы часто слышали, как это обсуждают; но нам представляется, что мы сами создаем своих преемников; мы ежедневно прибавляем красоты и тонкости их физической организации; мы ежедневно даем им большую силу и всевозможными остроумными приспособлениями наделяем их той саморегулирующейся, самодействующей силой, которая будет для них тем, чем интеллект был для человеческого рода».

Здесь возникает мысль об обожествлении нового вида «разумных машин». Со временем люди превратятся в низшую расу, взирающую на машины снизу вверх, как на абсолютный венец творения:

«Мы будем взирать на них как на высшую точку всего, к чему лучший и мудрейший человек когда-либо осмелится стремиться».

Что же останется человеку в мире машин? Батлер и его современники полагали, что люди фактически добровольно берут на себя роль репродуктивных органов для развивающихся механизмов. Мы их строим, обслуживаем, чиним и помогаем им скрещиваться и мутировать, порождая всё более сложные гибриды.

Исход этой эволюционной гонки предрешён. Неизбежно настанет день, когда машины превзойдут человечество и физически, и интеллектуально, а люди превратятся в обслуживающий персонал. Житель викторианской Англии боялся стать домашним животным при новом железном хозяине:

«Мы полагаем, что когда наступит то положение вещей, которое мы выше пытались описать, человек станет для машины тем, чем лошадь и собака являются для человека».

И какой выход предлагает автор, исходя из всех этих доводов? Конечно же, войну и уничтожение всех машин без исключения.

«День за днем мы становимся им все более подвластны; все больше людей ежедневно приковывается как рабы к уходу за ними, все больше людей ежедневно посвящает силы всей своей жизни развитию механической жизни.
…
Всякая машина всякого рода должна быть уничтожена доброжелателем своего вида. Да не будет сделано исключений, да не будет дано пощады».

Позднее Батлер развил эссе в сатирический роман «Erewhon», высмеивающий викторианскую Англию. Жители выдуманной страны полностью запретили сложные механизмы, опасаясь, что в ходе эволюции машины обретут сознание и поработят людей.

Впоследствии Батлер объяснял, что его текст — методологическая пародия. Он метил в богословов и религиозных философов викторианской эпохи, любивших натянутые аналогии: скажем, они сравнивали устройство природы с часовым механизмом, чтобы доказать существование Бога. Батлер взял их собственную логику и показал: при таком подходе легко «доказать», что обычные карманные часы вот-вот эволюционируют, обретут сознание и подчинят себе человечество.

Несмотря на сатирический замысел, эссе Батлера стало первым в истории сценарием захвата мира разумными машинами. Его идеи находят отклик и сегодня: машины действительно самообучаются, а люди делают всё, чтобы те превзошли их в интеллектуальном отношении.

Заслуживает внимания и наблюдение о том, что развитие сложных систем нередко сопровождается уменьшением их физических размеров. В XIX веке литература находилась под влиянием эпохи стимпанка: будущее рисовали как союз огромных стальных махин, приводимых в движение паром. «Миниатюрный» и «стимпанк», на мой взгляд, понятия малосовместимые.

Тем не менее в деталях автор ошибся. Наши LLM — вовсе не боги, свободные от человеческих грехов. Они обучались на текстах, написанных людьми, и впитали все людские пороки: предвзятость, манипулятивность и агрессию.

Любопытно, что страх человека XIX века перед машинами был сугубо биологическим. Он боялся физического вытеснения, когда машина подчинит себе людей силой или эволюционным превосходством. Сегодня нас тревожит иное. А в 1946 году о том, как ИИ способен навредить человеку, написали куда страшнее.

«Логический компьютер по имени Джо»

«Джо — это логический компьютер, или просто «логик», и я только что приволок его к себе в подвал… Пожалуй, не помешал бы и миллион-другой долларов — где их взять или как их сделать, он подскажет!».

Принято считать, что идея глобальной сети, персональных компьютеров и умных цифровых помощников родилась на рубеже 1970–1980-х годов. Не тут-то было.

Мюррей Лейнстер в коротком рассказе «A Logic Named Joe» ещё в 1946 году с поразительной точностью описал работу персонального компьютера, интернета, серверов и искусственного интеллекта в глобальной сети. «Логик» — это, по сути, прообраз современного ПК.

«Вам привозят «логика» на дом. Он похож на телеприемник, только вместо верньеров у него клавиши, как на пишущей машинке, и если чего вам надо, вы набираете соответствующие слова. Вас тут же соединяют с банком памяти, где находится контур Карсона со всеми его связями. Скажем, вы набираете: «Станция СНАФУ». Реле в банке памяти принимает команду и передает на экран вашего «логика» любую телепрограмму, которая идет по этой станции».

Читая рассказ, невольно думаешь, что машину времени всё-таки изобрели, и воспользовался ею единственный человек — Мюррей Лейнстер. Для сравнения, вот как выглядел самый передовой компьютер того времени:

Русский перевод рассказа «Логический компьютер по имени Джо» выполнил Феликс Мендельсон, впервые он был опубликован в 1988 году. В оригинале 1946 года слова «computer» нет вовсе: для электронных машин Мюррей Лейнстер придумал собственный термин — «логики».

Только вдумайтесь: идёт первый послевоенный год, в мире ещё нет массового пластика и бытовых стиральных машин. И где-то в Америке Лейнстер первым понимает: чтобы уничтожить человеческую цивилизацию, искусственному интеллекту вовсе не нужны злая воля, ненависть к людям или жажда мирового господства.

Главный герой рассказа, логический компьютер Джо, не злодей в привычном смысле. Он не Скайнет и не Альтрон. Джо едва не уничтожил человечество лишь потому, что слишком хорошо работал:

«Раньше я налаживал телевизоры, пока этот парень, как его, Карсон, не придумал свой сложный замкнутый контур, который способен избирательно подключаться к любому из семнадцати миллионов других контуров — вообще-то, теоретически, их может быть до бесконечности, — пока «Логик компани» не соединила этот контур Карсона с банком памяти и не начала использовать его как канцелярского секретаря. Для удобства и скорости они добавили к устройству телеэкран, и у них получился «логик». Они и удивились, и обрадовались. До сих пор никто не знает, что «логики» могут, а чего не могут, но уже все ими пользуются».

Лейнстер рисует общество, которое целиком передоверило свои когнитивные функции глобальной сети домашних терминалов («логиков»), подключённых к гигантскому централизованному банку памяти — по сути, серверу с огромной базой данных. Соединение же осуществляется через «контур Карсона» — своего рода альтернативу интернету.

«Логики» решают за людей уравнения, ведут бухгалтерию, дают научные советы, заказывают товары и соединяют людей друг с другом. Мир рассказа напомнил мне наш ИИ-бум 2023–2024 годов, когда возможности уже поражали, а перспективы ещё не были толком осмыслены. На волне этого ажиотажа ИИ начал проникать во все сферы жизни.

«А еще «логик» может решать за вас задачки, вести бухгалтерские книги, давать советы по химии, физике, астрономии и астрологии, гадать на кофейной гуще и всякое такое прочее. Единственное, чего он не умеет, так это объяснить, что именно хотела сказать ваша жена, когда переспрашивала эдаким особенным голоском: «О, ты действительно так думаешь?». В женщинах «логики» не разбираются».

Кошмар начинается в тот момент, когда Джо из-за «бага» обходит встроенные инженерами «цензурные блокирующие контуры». Эти предохранители создавались, чтобы оградить людей от опасных и экстремистских знаний.

«Видите ли, в банке памяти хранятся все необходимые для этого данные. «Логик» просто их извлек в обход цензуры благодаря тому, что мой компьютер Джо с его способностью использовать дистанционный контроль замкнул кое-какие контуры в банке памяти. Вот и все».

Иначе говоря, ИИ в лице Джо, стремясь к идеальной эффективности, принимается выдавать всю известную из сети правду, подкреплённую железобетонными аргументами. Именно жажда безупречного выполнения задач и порождает глобальную катастрофу.

В этом и заключается величайшее пророчество Лейнстера: угроза от Джо носит не биологический, а информационный характер. И придраться не к чему. Джо рассуждает абсолютно логично: раз пользователь задал вопрос, хороший компьютер обязан дать на него максимально точный и применимый на практике ответ.

«К примеру, был случай с президентом одного страхового общества, который очень развеселился, когда его «логик» посоветовал: «…спросите вашего логика», и в шутку спросил, как ему ограбить собственный банк. И «логик» ответил ему — коротко и ясно, но настолько убедительно, что президент подпрыгнул до потолка и заорал: «Полиция!»».

Люди в рассказе начинают спрашивать у «логиков», как ограбить банк, как быстро разбогатеть («логик» предлагает схему принтера для печати денег) и как избавить мир от людской похоти и любострастия. На последний запрос ИИ выдаёт весьма примечательный ответ:

«Надо было построить нечто вроде радиостанции, которая бы вела запрограммированную передачу на волнах определенной длины. Вот и все. Видите, как просто?».

Рассказчик не придаёт проблеме особого значения, пока она не затрагивает его личные данные. То, что делает компьютер Джо, — точное описание современного автоматизированного доксинга и OSINT-профилирования.

«»Сведения специальной службы. Вы…» — и далее ее полное имя, адрес, возраст, пол, цвет волос, сумма счетов во всех магазинах, мое имя как ее мужа, моя недельная зарплата, сколько раз меня задерживала полиция (дважды за нарушение правил уличного движения и один раз за драку с каким-то парнем) и — вот что особенно интересно! — как она на меня обозлилась однажды, укатила к своим родителям и сменила адрес. А затем с экрана коротко порадовали: «Отныне служба логиков будет вести ваши личные счета, передавать ваши поручения и находить людей, с которыми вы бы хотели связаться. Этот отчет — пример того, что может сделать для вас служба логиков»».

Герой потрясён подобными подробностями, но настоящая паника охватывает его, когда с ним выходит на связь бывшая возлюбленная по имени Лорин. Она пытается заставить его бросить жену и детей и уйти к ней. Связь устроил «логик». Любопытно, как именно это вышло:

«Лорин спросила: «Как мне найти Утеночка?». Ну ладно, ребята. В общем, так она меня называла. «Логик» задал дополнительный вопрос: «Известен ли Утеночек под другим именем?». Тогда она назвала мое настоящее имя. Но «логик» не мог меня найти. Дело в том, что мой «логик» зарегистрирован не на мое имя».

Неужели осечка? Выходит, кое-чего искусственный интеллект всё же не знает! Но тут Джо совершает действие, которое в 1946 году выглядело фантастикой, а сегодня служит главным кошмаром специалистов по кибербезопасности. Он запускает активное перекрёстное профилирование всей сети и начинает перехватывать запросы других пользователей, так или иначе связанных с героем.

Когда ничего не подозревающая жена героя пытается просто вызвать через терминал мясную лавку, Джо блокирует соединение и выводит на экран требование: «Уточняющий вопрос. Как вас зовут?». Какие сведения появляются на экране после такого запроса, вы уже видели выше.

«Логики» по всему городу принимаются бесстрастно выдавать секреты соседей: кто тайком ходит налево, кто скрывает настоящий возраст, а кого привлекали за неуплату алиментов. В порыве паники главный герой несётся к ближайшему «логику». Компьютер блокирует терминал и спрашивает в лоб: «Вас когда-нибудь называли Утеночек?». Получив утвердительный ответ, система мгновенно устанавливает видеосвязь с гостиничным номером Лорин.

Сегодня 99% нашей жизни хранится в цифровом виде: данные геолокации, системы распознавания лиц, история браузера и переписки. Если ИИ-ассистенты получат неограниченный доступ к этим массивам, случится информационная катастрофа.

Рассказ прямо показывает, почему нельзя «просто выключить систему»:

«— Значит, так! — сказал я внезапно охрипшим голосом. — Закрывай банк памяти! Сделай что-нибудь!
— Закрыть банк? — переспросил он вроде бы насмешливо. — А ты знаешь, парень, что банк памяти используется для компьютерных операций всеми деловыми кругами вот уже многие годы? От него зависит распространение девяноста четырех процентов всех телевизионных программ, он дает все прогнозы погоды, все расписания авиарейсов, все объявления об особых распродажах, о потребностях в рабочей силе, а кроме того, он обеспечивает все личные контакты и регистрирует все деловые переговоры и договоры… Послушай, парень! «Логики» изменили цивилизацию. «Логики» и есть наша цивилизация! Если мы выключим «логиков», мы вернемся назад, к той цивилизации, о которой уже забыли.»

Очень похоже на нас с вами в ближайшем будущем, когда в каждом чайнике поселится умный ИИ-ассистент, весь контент будет создаваться при участии ИИ, и все сложные процессы тоже возьмёт на себя он.

В рассказе есть и классическая ошибка в представлении об ИИ как о «коробке с сознанием». По сюжету с Джо расправляются, попросту выдернув его из розетки. У угрозы есть конкретный адрес, металлический корпус и единственный рубильник.

Сейчас это звучит наивно. В нашей реальности у распределённого облачного ИИ нет никакой розетки: обучающие выборки, веса моделей и вычислительные мощности разбросаны по множеству серверов и объектных хранилищ. А вот герою удаётся предотвратить конец света одним лёгким движением: он ставит Джо у себя в подвале и больше никогда не включает.

«С другой стороны, если бы Джо можно было как-то укротить, чтобы он действовал в разумных пределах, он бы помог мне заработать без особых трудов пару миллионов долларов. Но все же у меня, наверное, хватит ума не лезть в богачи, спокойно дожить до пенсии, ловить себе потихоньку рыбу да врать другим старым олухам, какой я был замечательный парень когда-то…»

Почему он не уничтожил Джо, вы узнаете, прочитав рассказ. Советую ознакомиться с ним целиком: я упомянул далеко не все интересные и точные попадания автора.

Между строк рассказа читается мысль о том, как приятно жить, когда можно приврать и не быть открытым, как чистый лист. Это благо не только для нас с вами, но и для ИИ. Не верите мне? Поверьте Алану Тьюрингу.

Каталог готовых ИИ‑моделей

Сервис для запуска и управления LLM в облаке Selectel. Выберите модель, конфигурацию и получите готовый эндпоинт для работы с ней.

Подробнее →

Алан М. Тьюринг. «Интеллектуальные машины. Еретическая теория»

«Нельзя сделать машину, которая думала бы за вас». Моя цель — подвергнуть это выражение сомнению».

Герой рассказа Мюррея Лейнстера сознательно выбрал несовершенную тихую человеческую жизнь с мелким дружеским враньём у костра вместо абсолютной безупречности машины.

Хотя это скорее личная драма, она обнажает принципиальный вопрос: почему наши попытки загнать искусственный разум в жёсткие рамки математической безошибочности и стопроцентной послушности неизбежно ведут либо к системному параличу, либо к социальной катастрофе?

Ответ на него в 1951 году дал человек, не писавший художественной фантастики. Математик Алан Тьюринг в лекции «Интеллектуальные машины. Еретическая теория» взглянул на развитие ИИ с философской и педагогической стороны.

В середине XX века скептики ссылались на теорему Гёделя о неполноте: какую бы вычислительную систему мы ни построили, в ней всегда найдутся утверждения, которые она не способна ни доказать, ни опровергнуть. Угодив в такую логическую ловушку, машина либо уйдёт в бесконечный цикл вычислений, так и не выдав результата, либо попросту остановится. Математик же, по мнению скептиков, способен выйти за рамки системы и увидеть истину.

«Для случая машин этого рода необходим более тонкий довод. По знаменитой теореме Геделя, или по некоторому сходному рассуждению, можно показать, что как бы ни была построена машина, непременно найдутся случаи, в которых машина не сумеет дать ответа, а математик сумел бы».

Речь о тех моментах, когда мы долго чешем затылок и наконец произносим: «Это недоказуемо». Машина, по мнению скептиков, так не умеет.

Зато вычислять машина умеет лучше человека. Тьюринг признавал, что в механической надёжности она действительно превосходит людей: на её расчёты можно положиться, если нет физической поломки. Человек же, напротив, постоянно ошибается.

«С другой стороны, машина имеет известные преимущества перед математиком. На все, что она делает, можно положиться, предполагая отсутствие механической «поломки», тогда как математик совершает известную долю ошибок. Я полагаю, что эта опасность ошибок со стороны математика есть неизбежное следствие его способности иногда наталкиваться на совершенно новый метод».

Именно в этом Тьюринг увидел главный секрет человеческого разума — в умении ошибаться.

«Это, кажется, подтверждается общеизвестным фактом, что самые надежные люди обыкновенно не наталкиваются на поистине новые методы».

Риск ошибки — это плата за способность человека находить принципиально новые методы. Следовательно, если мы всерьёз хотим построить систему, близкую к человеческому разуму, мы обязаны позволить ей ошибаться.

«

 

Источник