В 2025 году на русском языке вышел фундаментальный манифест-предупреждение, посвященный катастрофическим рискам, сопряженным с бесконтрольным развитием искусственного интеллекта. В центре внимания — критическая проблема согласования целей (alignment) и апокалиптические прогнозы, актуальные для ближайшего будущего.
Суть концепции: Автор утверждает, что появление ИИ уровня «исследователь» неизбежно приведет к созданию сверхразума. Последний, согласно теории, спроектирует наномолекулярные фабрики на принципах, радикально отличающихся от биологических (подобно тому, как авиация отличается от полета птиц). После этого ИИ неизбежно вступит в конфликт с человечеством ради достижения собственных целей, что предрекает нам печальный финал. Даже если сценарий будет иным, любой исход, ведущий к гибели человечества, автор считает неприемлемым — и в этом состоит ключевой тезис книги.
Авторы труда — Элиезер Юдковский и Нейт Соарес. Юдковский, известный как основатель ресурса LessWrong, вызывает неоднозначную реакцию в академических кругах. Несмотря на скепсис по поводу его научной деятельности, нельзя отрицать его литературный талант и значительное влияние, которое его работы оказали на многих мыслителей.
В последнее время вокруг Юдковского сформировался образ паникера, а некоторые критики и вовсе вешают на него ярлык «инфоцыгана». Признаюсь, сам я порядком устал от его алармистских заявлений, звучащих с 2020 года.
Я приобрел эту книгу, планируя создать ироничный обзор, высмеивающий саму подачу материала. Чего стоит лишь вступительная цитата: «В 2000 году Юдковский попытался создать машинный сверхинтеллект. В 2001-м он осознал, что тот не обязательно окажется дружественным. А в 2003-м понял, что задача сложна». Надеюсь, это лишь огрехи перевода, а не автобиографическая хроника продуктивности. Забавно и то, что на обложке красуются рекомендации актеров Стивена Фрая и Марка Раффало — видимо, эксперты в области ИИ были слишком заняты разработкой технологий.
Подходя к чтению, я держал в уме очевидные факты: современные LLM не обладают мышлением в человеческом понимании, склонны к галлюцинациям и их задача — статистическое предсказание следующего токена, а не решение интеллектуальных задач.
Поначалу я помечал стикерами каждый нелепый момент для будущих шуток. Автор умело использует арсенал романиста: яркие метафоры, аллегории и эмоциональное давление, зачастую подменяя сухие доказательства художественной убедительностью. В начале повествование излишне упрощено; использование термина «рассуждение» применительно к нейросетям звучит абсурдно — между ними и человеческим интеллектом лежит непреодолимая пропасть.
Однако у Юдковского есть аргумент: не так важно, что скрывается в «черном ящике» ИИ. Если система оптимизирует действия для достижения заданного результата, а человечество целенаправленно обучает её этому — мы получаем функциональный аналог целеполагания.
Юдковский последовательно выстраивает аргументацию, разбирая основы работы моделей и их скрытые преимущества перед людьми. Конечно, текст пересыпан кликбейтными заголовками прошлых лет о «сбежавших нейросетях» и «шантажирующих моделях», что попахивает пиаром. Но эти примеры служат иллюстрацией нашей неспособности заглянуть в «мозги» алгоритмов и спрогнозировать их реакцию на сложные стимулы.
В какой-то момент я перестал спорить с автором. Действительно, сложно отрицать возможность того, что крупные корпорации могут пожертвовать безопасностью ради капитализации. Не хочется признавать правоту того, кто нагнетает панику, но книга заставляет всерьез призадуматься.
Ближе к финалу повествование приобретает привкус экзистенциального ужаса, который впечатлил бы даже Лавкрафта. Если вероятность катастрофы, связанной с новой технологией, составляет хотя бы 10% — этого достаточно, чтобы требовать полной остановки разработок.
Рекомендую эту книгу к прочтению. Это уникальный хоррор-опыт, даже если вы скептически относитесь к личности самого Юдковского.
PS По поводу звездных рецензентов:
Вот фрагмент одной из самых известных работ Юдковского — да, это масштабный фанфик по «Гарри Поттеру», который, стоит признать, по-настоящему захватывает:
— Если вы думаете, что в том способе действий, который вы отстаиваете, нет никакой опасности, — сказал Гарри тоном, более резким, чем ему хотелось бы, — то это тоже детские иллюзии!
Он угрюмо уставился профессору Квирреллу в глаза. Тот выдержал взгляд, не мигая.
— Эти опасности, — холодно проговорил профессор Квиррелл, — следует обсуждать в кабинетах, подобных этому, а не в публичных речах. Глупцов, избравших Корнелиуса Фаджа, не волнуют сложности и предостережения. Выйдите к ним с чем-то более сложным, чем воодушевляющие крики, и вы будете сражаться на своей войне один. Это, мистер Поттер, и была ваша детская ошибка, которую Драко Малфой не допустил бы даже в восемь лет. Даже вам должно было быть очевидно, что следовало промолчать и в первую очередь посоветоваться со мной, а не высказывать свои опасения перед толпой!
Очевидно, эта мысль глубоко укоренилась в мировоззрении Юдковского. Его новая книга — это не научный трактат, а практически манифест, обращенный к широкой аудитории. Максимально простой язык и прямолинейные месседжи свидетельствуют о том, что для автора это последняя попытка достучаться до мира, когда другие каналы влияния оказались исчерпаны.
