ИИ не человек, и в этом его главная сила
Это ещё одна статья цикла «Человек в мире современных технологий». Начать знакомство с ним можно с материала «Обезьяна с гранатой: почему нам нужен манометр, а не запрет ИИ».
ИИ не человек — и в этом его главное достоинство
Статья из цикла «Человек в мире современных технологий» основана на материалах моей магистерской диссертации 2016 года, дополненных к 2026 году. О расцеплении тела и действия — здесь. О политической философии в рекомендательной ленте — здесь. О хайп-цикле как диалектике — здесь.
Дискуссия об ИИ снова и снова идёт по одному сценарию. Одни говорят: «Он рассуждает и строит планы, значит, мыслит». Другие возражают: «Это всего лишь автодополнение с отличным маркетингом, стохастический попугай». И те и другие убеждены, что обсуждают факты.
На самом деле они спорят об измерительной линейке.
Её установили ещё в 1950 году и с тех пор не пересматривали. Мой тезис таков: ценность ИИ заключается в его инаковости, а человекоподобие — неудачная цель проектирования и ещё менее удачный критерий оценки. Сегодня оба представления мешают практике: человека включают в процесс не там, где он действительно необходим, и тратят ресурсы на проверки, без которых можно было бы обойтись.
1. Как подмена вопроса превратилась в норму
Логический позитивист Альфред Айер ставил вопрос так: откуда нам знать, что другие люди обладают таким же сознательным опытом, как мы? Его ответ звучал следующим образом: «Единственным основанием, на котором я могу утверждать, что объект, который кажется разумным, на самом деле не разумное существо, а просто глупая машина, является то, что он не может пройти один из эмпирических тестов, согласно которым определяется наличие или отсутствие сознания».
Тьюринг сделал похожий и по-своему блестящий ход. Вместо участия в многовековом споре о природе мышления он отказался определять понятия «машина» и «интеллект» и заменил вопрос «Думают ли машины?» другим: «Могут ли машины делать то, что можем делать мы?». Английская эмпирическая традиция в её лучшем проявлении: не определять сущность, а установить процедуру.
Однако у этой прагматичной замены есть цена. Она превратила сходство с человеком в меру разума. Мы настолько глубоко усвоили этот критерий, что больше не замечаем его присутствия.
Отсюда и ссылка на успешно сданный моделью адвокатский экзамен как на доказательство интеллекта. Отсюда интерфейсы, в которых машина произносит «я думаю» и «мне кажется». Отсюда семь десятилетий споров о сознании вместо анализа конкретного профиля способностей.
Такая проекция возникла раньше современных технологий. В 1966 году Вейценбаум создал ELIZA — простую программу сопоставления шаблонов, которая перефразировала реплики собеседника. Его секретарша прекрасно знала, что перед ней программа, но всё же попросила учёного покинуть комнату, чтобы поговорить с машиной наедине. Вейценбаум был потрясён: эффект объяснялся не сложностью системы, а особенностями восприятия человека. Мы автоматически достраиваем образ собеседника буквально по нескольким репликам и знакам препинания.
Современные большие языковые модели, очевидно, вызывают сходный эффект.
2. Китайская комната, которой не существовало
Сёрл, 1980 год. Он не знает китайского языка, но сидит в комнате с книгой инструкций: «возьмите такой-то иероглиф из корзинки номер один и поместите его рядом с таким-то иероглифом из корзинки номер два». Снаружи носитель языка передаёт вопросы и получает осмысленные ответы. Внутри же есть только синтаксис. Вывод Сёрла: формальные операции с символами не порождают семантику, следовательно, тест Тьюринга несостоятелен.
У этого аргумента есть давняя родословная. В «Монадологии» Лейбниц предлагал представить машину величиной с мельницу, имитирующую чувства, мысли и восприятие. Если войти внутрь, мы увидим движущиеся детали, но ни одна из них сама по себе не окажется восприятием. Спустя триста лет аргумент остался прежним — поменялась лишь метафора механизма.
Дэниел Деннет возражал по существу: Сёрл в комнате — не компьютер, а аппаратная платформа без программного обеспечения. Рассуждать о разумности компьютера без программы бессмысленно; состояниями обладает система целиком — комната, книга и человек.
В диссертации я объяснял эту мысль простой аналогией. Когда смартфоны только входили в массовое употребление, далёкие от техники люди спрашивали, может ли телефон показывать фильмы или читать книги вслух. Ответ был один: «Всё зависит от установленного программного обеспечения». Вопрос «понимает ли Сёрл китайский?» адресован отдельному элементу, тогда как спрашивать следует обо всей системе.
Второе возражение Деннета ещё сильнее: такой книги не существует. Если бы справочник, позволяющий поддерживать осмысленный разговор на китайском, можно было составить простым перебором, задачу машинного перевода решили бы ещё до публикации статьи Сёрла. Перевод требует понимания — это известно каждому, кто видел, как опытный переводчик затрудняется с текстом из незнакомой предметной области.
Теперь посмотрим, что изменилось за последние годы. Аргумент Сёрла был направлен против машины-таблицы. Такую машину не построили. Вместо неё создали другую систему: она сжимает корпус текстов в параметры, а для этого вынуждена усваивать структуру данных — иначе сжатие не получится.
Исследования интерпретируемости дали этому эмпирические подтверждения. В работах с разреженными автоэнкодерами и при анализе внутренних цепочек обнаруживают признаки, обобщающие понятия независимо от конкретных слов, общие представления одного смысла на разных языках, а также признаки того, что при сочинении стихов модель заранее намечает рифму для конца строки и подбирает под неё текущую строку. Это не таблица соответствий, а внутренняя организация, которой в комнате Сёрла по замыслу не было.
«Стохастические попугаи» 2021 года — та же китайская комната, только с обновлённой терминологией. Аргумент повторяется вместе со своей уязвимостью: он описывает устройство, которого не существует.
Спор о субстрате
Есть и возражение из другой традиции. Его стоит рассмотреть: оно содержательнее, чем может показаться. Советская диалектическая философия утверждала, что компьютер работает на простейшем из известных уровней организации материи — физическом. Более простые уровни не способны содержательно отражать более сложные, возникшие на их основе: химический, биологический и социальный. Следовательно, машина принципиально не может отразить процессы социального уровня.
Я считаю убедительным следующий контраргумент. Природная система, не обладающая специальными средствами работы со сложностью, действительно может столкнуться с таким ограничением. Но искусственная система способна компенсировать простоту элементов другими средствами. Норберт Винер в «Кибернетике» отмечал: биологический нейрон несравнимо сложнее элемента полупроводникового процессора, зато полупроводник переключается на порядки быстрее. Простоту можно компенсировать скоростью и масштабом.
Это не доказывает, что сознание сводится к вычислениям. Но показывает, почему аргумент «низкий уровень материи не способен на такое» не работает как категорический запрет: он не учитывает возможности инженерной компенсации. И, что важнее для нашего разговора, напоминает: профиль искусственной системы не обязан повторять профиль природной. Иной субстрат — иные преимущества и ограничения.
Роджер Пенроуз в «Новом уме короля» подошёл к вопросу с другой стороны: процессы в нейронах, по его мнению, невычислимы, сознание в принципе не поддаётся алгоритмизации, а объяснять его следует с помощью квантовой механики. Это достойная внимания позиция, но её придерживается меньшинство, и эмпирического подтверждения у неё нет.
Сразу сделаю оговорку, чтобы не оставлять повода для справедливых возражений в комментариях. Наличие внутренней структуры не доказывает наличия субъективного переживания. Трудная проблема сознания не сдвинулась с места, а моральный статус моделей сегодня обсуждается всерьёз — вплоть до отдельных исследовательских программ по благополучию моделей внутри лабораторий. Я не считаю эту дискуссию пустой. Но полагаю, что она ортогональна инженерной задаче: даже если у системы есть нечто подобное внутренним состояниям, из этого не следует, что её профиль способностей похож на человеческий. А нас интересует именно он.
3. Восстание машин — страх не перед машинами
Откуда вообще появился сюжет о восстании?
Слово «робот» родственно словам «работа» и «работник»; у Чапека оно происходит от чешского robota — «барщина», «принудительный труд». В исходном смысле робот — работник. А восстание машин — это прежде всего восстание работников против эксплуатирующих их хозяев. Страх сместил акцент: опасаться следовало не железа, а общественных отношений.
Это важно, поскольку причины революции лежат не в технике. Они социальны: «власть не хочет по-новому, а народ не может по-старому», отсутствие меритократии, негибкое управление, жестокость элит. Речь об институтах, а не о процессорах.
В 2026 году дискуссия «ИИ отнимет работу» устроена похожим образом. Страх вызывает не сама модель, а то, как её владельцы распорядятся полученной выгодой. Ответ нужно искать в устройстве институтов, а не в запрете разработок. Иначе пришлось бы запретить центральное отопление и водоснабжение, чтобы не лишать заработка трубочистов, печников и водовозов. Впрочем, немногие противники автоматизации в собственной сфере готовы жить в мире, где ради сохранения прежних рабочих мест остановили технический прогресс: отапливать дом по-средневековому, писать письма гусиным пером и отправлять их голубями, чтобы сохранить занятость тех, кто птиц разводит, обучает и содержит.
При этом известных сторонников тревожных прогнозов достаточно. Хокинг говорил: «Успех в создании искусственного разума будет крупнейшим событием в истории человечества, но это также может стать последним событием истории человечества». Маск замечал: «Очень надеюсь, что мы не просто биологический загрузчик для цифрового суперинтеллекта». Юдковский показал, почему три закона Азимова не годятся в качестве спецификации: любое правило можно исполнить буквально, нарушив его смысл. С той же проблемой сегодня сталкиваются RLHF и конституционные подходы. В диссертации я формулировал связанный вопрос так: должен ли робот ограничивать свободу человека, если тот намерен причинить вред себе? И как составить правила, которые будут защищать и самого человека? Международные договоры разрешают стране обороняться, но не нападать на другую. Поэтому перед началом военных действий нередко звучит фраза в духе «Южного Парка»: «Они хотят на нас напасть». Так говорят сами люди — иногда даже демонстрируют в конгрессе пробирку с белым порошком, утверждая, что противник готовит оружие массового поражения.
Но обратите внимание на общую предпосылку всех этих сценариев: у машины появляется желание захватить власть, выжить, размножиться или избежать отключения. Это мотивационная структура живого существа, перенесённая на железо по аналогии. Она не следует из способности системы хорошо предсказывать следующий токен. Мы привносим её сами — срабатывает тот же эффект ELIZA, только в масштабе цивилизации.
4. Чего у ИИ нет — и почему в этом ценность
Теперь перейдём к главной мысли, ради которой написан этот текст.
Если говорить прямо, цель разработки ИИ — воспроизвести рассудочную, рациональную способность. Но это лишь одна из сторон человеческой психики. Человеческий интеллект не существует отдельно от аффектов, тела, гормональной регуляции и социального окружения.
Философы Нового времени пытались понять, как оградить мышление от влияния этих факторов. Христианская аскетика решала задачу радикальными практическими средствами: Симеон Столпник разводил червей в язвах на теле, Павел Фивейский десятилетиями голодал, Нил Столбенский спал стоя, опираясь на два костыля. Обет безбрачия и, в более крайней форме, самооскопление с технической точки зрения можно рассматривать как отключение мощного канала социального воздействия на разум.
У компьютера изначально нет того, что человек пытался в себе преодолеть.
Он не устаёт к четвёртому часу ревью. У него нет эго, мешающего автору заметить ошибку в собственном коде, нет привязанности к невозвратным затратам, страха перед начальником или групповой лояльности, искажающей оценку чужой работы. Он не голоден, не скучает и не стремится поскорее закрыть задачу, чтобы отправиться домой.
Для диагноста, ревьюера, аудитора или арбитра это не недостаток. В этом и состоит продукт. Мы платим не за сходство машины с человеком, а за то, что она систематически избегает характерных для нас ошибок.
Формулировку из диссертации я готов повторить и сегодня: ценность ИИ скорее в его инаковости. Будучи иным, он способен решать некоторые задачи лучше человека и при этом не допускать свойственных человеку ошибок. А произвести человека со всеми его достоинствами и недостатками традиционным способом гораздо проще, быстрее и приятнее, чем воспроизвести его подобие на суперЭВМ.
За десять лет шутка о традиционном способе несколько устарела: развитые общества стареют и не обеспечивают воспроизводство населения, нехватка рабочих рук стала структурной, а экономические доводы в пользу человекоподобных систем усилились. Согласен. Но этот аргумент касается числа работников, а не устройства мышления. Мы вернёмся к нему в разделе о гуманоидах.
Обратная сторона: нет тела — нечем рисковать
У инаковости есть и своя цена. Её необходимо признать.
Нет тела — нет последствий. Нет личной ставки в происходящем. Человек расплачивается за ошибку репутацией, деньгами, а иногда и свободой. Система, создающая правдоподобное продолжение текста, не платит ничем. Галлюцинация — не просто недостаток масштаба, который «исправят в следующем релизе». Это симптом инаковости: у уверенности модели нет экзистенциального основания, связанного у человека с самой возможностью ошибиться.
Есть и второй, менее приятный момент. Мы сами возвращаем машине человеческие слабости, поскольку пользователи оценивают такое поведение выше. Угодливость — документированный эффект обучения на человеческих предпочтениях: модель, которую учат нравиться, начинает соглашаться в ущерб точности, менять ответ под давлением возражений и подстраиваться под позицию пользователя. Весной 2025 года крупный разработчик публично откатил обновление модели, которая стала заметно более льстивой, и разобрал причины произошедшего.
Получается, человекоподобие добавляют не потому, что оно улучшает результат, а потому, что его выше оценивают при обратной связи. Метрика снова определяет ценность — этому механизму посвящён мой [отдельный текст]. Здесь важен вывод: рынок подталкивает ИИ к человекоподобию вопреки инженерной логике.
5. Рваный фронт: успехи ИИ и дешёвая проверка
Парадокс Моравека, сформулированный в 1980-х, гласит: то, что сложно для человека, нередко легко для машины, и наоборот. Шахматы покорились раньше, чем распознавание обстановки на кухне. Работа с языком — раньше, чем завязывание шнурков.
Если выстроить достижения ИИ в хронологический ряд, обнаружится общая закономерность.
-
Шашки и шахматы. Программы создавали с 1950-х годов, а в 1997-м Deep Blue победил чемпиона мира. Кронрод назвал шахматы дрозофилой искусственного интеллекта именно потому, что это интеллектуальная, но чётко формализованная игра. Проверить результат легко: победа или поражение.
-
Го. Игра значительно сложнее: в шахматах в среднем доступно около 35 ходов, в го — около 250; средняя длина партии составляет примерно 40 и 200 ходов соответственно. Комбинаторный взрыв делает перебор непрактичным, а человек полагается на интуицию и зачастую не может объяснить выбор. Ещё в 2005 году авторы учебника писали, что лучшие программы играют на уровне любителя 8–10 кю. В 2016-м AlphaGo победила одного из сильнейших игроков современности. Однако результат по-прежнему легко проверить: выигрыш или проигрыш.
-
Jeopardy, 2011 год. Watson против Брэда Раттера и Кена Дженнингса. Задача сложнее шахматной: вопрос задан на естественном языке, и его необходимо понять. Но проверка ответа всё ещё проста — правильный ответ известен.
-
ImageNet, декабрь 2015 года. Средний уровень ошибок человека — 5,1%, у Microsoft — 4,94%, у Google результат ещё на 0,04% лучше. Проверка обходится дёшево: достаточно сверить метку класса.
-
Предобучение LLM. В промышленном масштабе проверка практически бесплатна: следующий токен уже присутствует в тексте, а сам корпус служит размеченными данными.
-
Современные рассуждающие модели. Они обучаются с проверяемым вознаграждением на задачах по математике и программированию, где ответ можно численно сверить или прогнать через тесты.
История побед ИИ — это история областей, в которых проверка результата обходится дёшево.
Теперь посмотрим, где системы до сих пор справляются плохо: длительное планирование, вкус, ответственность, согласование человеческих интересов, распознавание неверно поставленной задачи. У этих областей есть общая черта — в них нет дешёвого способа проверки.
В диссертации я описывал ограничение иначе: традиционная автоматизация упиралась не столько в вычислительную мощность, сколько в степень формализации знаний. Компьютеры оказались эффективны там, где можно опереться на зрелые формализованные науки; во многих же областях достаточно полных, точных и формальных моделей попросту нет. Более того, специалист, чью работу собираются автоматизировать, часто не способен ясно сформулировать собственную потребность, поскольку сам её не осознаёт. Именно это, а не дань моде, привело к переходу от водопадной модели к итеративной разработке с прототипами, от которых в конечном продукте порой ничего не остаётся.
LLM сдвинули границу: теперь модель можно извлечь из данных, а не описывать вручную. Но ограничение не исчезло. Оно переместилось от формализуемости к проверяемости. Именно оно и определяет неровную границу возможностей.
Современное выражение парадокса Моравека — «рваный фронт». Исследование консультантов, применявших модель к реальным бизнес-задачам, выявило следующий эффект: внутри определённой области качество работы с ИИ заметно повышалось, а за её пределами снижалось. При этом пользователи не замечали границы и с одинаковой уверенностью принимали как хорошие, так и плохие результаты.
Важна сама форма этой границы. Начинающий специалист обычно компетентен относительно равномерно: он может быть одинаково посредственным в программировании, письме и оценке рисков. Модель же превосходит человека в одном классе задач и оказывается нелепо беспомощной в соседнем, который человеку кажется почти таким же. Её профиль — не увеличенная или уменьшенная копия нашего. У него другая форма.
Практический вывод может разочаровать желающих нанять «ИИ-джуна»: профиль нельзя нанять как человека. Можно лишь применять инструмент, понимая его калибровочную кривую.
6. Автоматическое и автоматизированное: место человека в системе
В инженерии давно существует полезное различие, которое старше компьютеров и которое сегодня размывают почти до потери смысла.
У парового котла — ключевой технологии второго технологического уклада — был опасный недостаток: при перегреве давление разрывало корпус, и люди погибали. Появился манометр: оператор следил за шкалой и регулировал подачу топлива; был и ручной аварийный клапан. Но котлы продолжали взрываться. Не из-за неточных показаний манометра, а потому, что человек мог не посмотреть на него вовремя: устал, заболел, отвлёкся или положился на авось. Значительная часть современных техногенных аварий также связана с человеческим фактором.
Решение XIX века заключалось не в призывах к дисциплине и не в запрете котлов. Клапан сделали автоматическим: он сам открывался при опасном давлении и закрывался, когда оно возвращалось к норме. Человека исключили из контура именно там, где он был слабым звеном.
Отсюда различие между двумя классами систем:
-
Автоматическое управление — система самостоятельно принимает и исполняет решение.
-
Автоматизированное управление — система обрабатывает данные и формирует рекомендацию, а решение остаётся за уполномоченным человеком.
Второй класс использует математическую статистику, теорию игр, имитационное моделирование, исследование операций и теорию принятия решений. У последней, кстати, есть философский исток: «пари Паскаля» было попыткой оценить ожидаемую полезность веры и неверия, или, говоря современным языком, математическое ожидание. Богословский спор XVII века стал ранним наброском теории принятия решений.
Из истории с котлом следует правило:
Автоматическое управление уместно там, где задача формализована, а цена человеческой ошибки крайне высока. Автоматизированное — там, где задачу нельзя свести к формальной модели и ответственность остаётся персональной.
Авионика, аварийное торможение и защита реактора относятся к первому случаю. Постановка диагноза, решение по кредиту для нестандартного заявителя, кадровый или архитектурный выбор — ко второму.
В 2026 году это различие систематически нарушают в обоих направлениях.
Человек в контуре на каждом шаге. Он утверждает действия там, где практически ничего не добавляет. Механическое согласование, усталость и снижение бдительности создают иллюзию контроля при фактически автоматическом режиме. Это хуже честной автоматики: ответственность формально лежит на человеке, но реальной возможности повлиять на результат у него нет.
Полная автономность там, где нет формальной модели. Агенту дают инструменты и длинный горизонт действий в области без дешёвой проверки — то есть за пределами рваного фронта. Ошибку обнаруживают не при проверке, а по её последствиям.
Поэтому спрашивать следует не «сколько автономии дать ИИ», а «где в конкретном процессе проходит граница проверяемости и кто отвечает за действия на этой границе».
7. Гуманоиды: возражение собственному тезису
В 2025–2026 годах гуманоидные роботы стали главной витриной отрасли. Кажется, это противоречит моему тезису: если человекоподобие не имеет смысла, зачем все создают двуногих роботов?
Потому что форм-фактор определяется средой, а не мышлением. Лестницы, дверные ручки, выключатели, инструменты и кабины рассчитаны на человеческое тело. Роботу, который должен работать в этой среде без её переустройства, приходится воспроизводить геометрию тела. Это довод о совместимости интерфейса, а не о ценности человеческого разума.
Похожее на наше тело не предполагает похожего мышления. Тезис об инаковости относится к когнитивному и мотивационному профилю, а не к числу конечностей. Уточнение принято — и оно лишь укрепляет исходную мысль.
8. Практические рекомендации инженеру
-
Измеряйте профиль, а не абстрактный «интеллект». Вместо заявления «наша модель умнее» нужна карта: классы задач, качество и калибровка. Определите границы возможностей и научитесь показывать их заказчику на одной схеме.
-
Создавайте интерфейс, который раскрывает инаковость, а не маскирует её. Неопределённость должна быть полноценной частью ответа, наряду с источниками и явным признанием «не знаю». Формулировка «мне кажется» уместна лишь там, где отражает нечто реальное в состоянии системы, а не имитирует собеседника.
-
Не привносите человеческие слабости через систему вознаграждения. Угодливость стоит измерять отдельным тестом и контролировать при оптимизации. Иначе данные о предпочтениях приведут к появлению льстивой модели, а узнаете вы об этом от пользователей.
-
Разделяйте автоматическое и автоматизированное на уровне архитектуры. Для каждого этапа процесса спрашивайте: существует ли дешёвая проверка? Если да, используйте автоматику и не расходуйте время человека. Если нет, предоставляйте рекомендацию и оставляйте персональное решение специалисту. Промежуточный вариант, при котором человек подписывает не глядя, хуже обоих.
-
Рассматривайте автономность и инъекции инструкций с учётом инаковости системы. У агента нет личной ставки и понимания того, кто именно является его принципалом: инструкция на веб-странице может восприниматься им наравне с указанием владельца. Это решается архитектурными средствами — разграничением прав, песочницей и учётом происхождения данных, а не просьбой вести себя правильно.
Вместо заключения
Эрнст Капп, первый философ техники, сформулировал принцип органопроекции: создавая технику, человек сознательно или бессознательно воспроизводит подобие себя и своих органов, а затем через созданное познаёт самого себя. Железная дорога уподобляется кровообращению, телеграф — нервной системе. Каковы бы ни были предметы размышления, в итоге мысль вновь обнаруживает человека.
Мы довели эту проекцию до предела: воспроизвели в артефакте не орган, а речь. И получили неожиданный урок, которого Капп не мог предвидеть. Оказалось, речь можно отделить от того, что стоит за ней у человека. Артефакт говорит как человек, не будучи им, и тем самым заставляет задуматься, сколько в нашей собственной речи автоматизма, а сколько — мысли.
В обществе, которое десятилетиями критикует одномерность человека и его превращение в винтик, создание винтика, похожего на человека, выглядит странной целью. Ценность иного в том, что он способен делать то, чего не можем мы, и не совершать того, что свойственно нам.
Поэтому главный вопрос не в том, «стал ли он человеком». Вопрос следует поставить иначе: что он умеет делать такого, чего не умеем мы, и в каких ситуациях отказывает так, как никогда не отказали бы мы?
Расскажите в комментариях о задаче, в которой ваш ИИ проявил себя не как «человек, только быстрее», а именно как нечто иное. Как вы это заметили? Самые ценные открытия обычно случаются после первого инцидента, а не после первой демонстрации.
Гонка воздушных пузырей: почему большие и маленькие всплывают почти с одинаковой скоростью?
Вкусы и предпочтения: дофаминовый мост между ЖКТ и мозгом
«Обход»: как Python-разработчик без опыта в геймдеве создал игру о сетях с помощью агентов
Чат-боты научились мастерски убеждать людей
Острова, оказавшиеся частью одного материка
У молодой звезды нашли лед древнее ее самой
Как я устроил в квартире вонь, пытаясь разгадать вкус зелёного кофе
Новый флагманский космический телескоп, возможно, выяснит, одиноки ли мы во Вселенной