Эффект чёрного ящика: почему искусственный интеллект принимает необъяснимые решения

То, о чем пойдет речь далее, с точки зрения физики является абсолютной бессмыслицей. Тем не менее, меня это мало волнует. Любая теория не обязана претендовать на статус абсолютной истины — гораздо важнее, чтобы она коррелировала с наблюдениями, генерировала прогнозы и успешно проходила экспериментальную проверку. Моя концепция пока не подвергалась академическому тестированию, однако она удивительно точно описывает закономерности, с которыми я постоянно сталкиваюсь при взаимодействии с искусственным интеллектом.

А началась эта история с банального веб-ресурса, набора заголовков и моего наивного убеждения, что прямого запрета исполнителю будет достаточно для его соблюдения.

Куда пропали заголовки?

Я занимаюсь разработкой сайта в тандеме с ИИ-агентом: корректирую архитектуру, полирую тексты, устраняю недочеты. В конфигурационном файле AGENTS.md четко разграничены зоны дозволенного и категорическое «нельзя». Некоторые ограничения дублируются неоднократно — не из тяги к тавтологии, а исключительно на основе горького опыта. Пожалуй, скоро придется заверять этот документ у юриста.

Особенно трепетно я отношусь к разметке. Если поставлена задача переписать конкретный абзац, у ИИ нет ни единой причины самовольно перетаскивать заголовки, менять их иерархическую вложенность или перекраивать структуру макета. Агент послушно кивает, берет задачу в работу и вскоре рапортует о выполнении. Открываю страницу, проверяю целевой блок: все идеально, именно так, как задумывалось.

Спустя пару дней возвращаюсь к коду по совершенно другому вопросу и с удивлением обнаруживаю, что иерархия заголовков нарушена. Где-то сместились уровни, а какой-то блок вообще улетел не на свое место. Визуально при этом все безупречно: дизайн на месте, контент на месте, верстка не поплыла. И только изнанка в виде HTML демонстрирует совершенно иную картину.

Интересуюсь у агента: «Какого черта? Кто дал тебе такие полномочия?» В ответ получаю пространную лекцию на совершенно постороннюю тему — о семантике, доступности (a11y) и правильной структуре документа. Безусловно, я восхищен его познаниями в вебе, но вопрос заключался совсем в другом. Почему был нарушен прямой запрет?

И тут меня озанило: он искренне не ведает, почему так поступил. Он не утаивает мотивы и не пытается лукавить. У его архитектуры в принципе отсутствует такое свойство — рефлексировать причины собственного выбора в том человеческом понимании, к которому мы привыкли.

В этот момент память услужливо подкинула ассоциации с квантовой механикой. Какая связь между тегами разметки и теоретической физикой? Наберитесь терпения, сейчас мы доберемся и до кота Шредингера.

Немного квантовых аналогий

В квантовой физике фундаментальную роль играет волновая функция. Если максимально упростить концепцию, она описывает состояние системы и позволяет рассчитывать вероятности различных исходов измерения, причем до момента наблюдения система пребывает в суперпозиции множества альтернатив (для некоторых величин их число и вовсе бесконечно).

Возьмем, к примеру, задачу определения координат электрона. До совершения измерения его положение задается не конкретной точкой в пространстве, а распределением вероятностей. Но стоит нам зафиксировать прибором параметр, как электрон обнаруживается в строго определенном месте. В рамках копенгагенской интерпретации этот процесс называют коллапсом волновой функции: из бесчисленного множества вероятностей материализуется лишь одна.

Элегантно, не правда ли? Особенно если воздерживаться от дискуссий с физиками о том, что именно происходит в момент акта измерения. Они спорят об этом уже целое столетие, так что я, пожалуй, со своими HTML-заголовками воздержусь от попыток разрешить этот спор.

А теперь взгляните на языковую модель. Когда я формулирую запрос, готового ответа на него не существует — он рождается в динамике генерации. В недрах нейросети нет заготовленного шаблона текста, который она просто извлекает наружу. Модель выстраивает ответ последовательно, токен за токеном. Каждый вновь сгенерированный фрагмент задает вектор для последующих, и из огромного спектра возможных продолжений формируется единственный результирующий текст.

Что происходит, когда модель получает доступ к инструментам? Когда она оперирует файлами, правит шаблоны, запускает команды? Сценариев развития событий — легион. Реализуется ровно один из них, после чего агент отрапортует: «Готово».

Я открываю браузер и оцениваю плоды трудов. В терминах нашей аналогии происходит коллапс волновой функции: из спектра потенциальных вариантов материализовался один. Разумеется, я проинспектировал лишь тот фрагмент, где ждал изменений. Все прекрасно, кот жив, коробку можно закрывать.

Однако спустя три дня выясняется, что кот не только жив, но и успел полностью переставить мебель. Разумеется, HTML не трансформировался под воздействием моего взгляда — все изменения произошли гораздо раньше. Тем не менее, эта причудливая метафора подвела меня к куда более увлекательному вопросу.

Какого цвета электрон?

Допустим, мы проводим мысленный эксперимент. Вы подходите к физику-теоретик и задаете вопрос: «Скажите, а электрон имеет синий или зеленый цвет?» Специалист наверняка посмотрит на вас как на умалишенного, и будет абсолютно прав.

У электрона в принципе отсутствует такое свойство, как цвет. И дело здесь вовсе не в микроскопических размерах или несовершенстве измерительной аппаратуры. У него просто нет этой характеристики. Вы можете повторять вопрос хоть тысячу раз, но от этого электрон не окрасится в красный цвет — даже из соображений стыда.

А теперь представим гипотетическую ситуацию: элементарная частица обрела дар речи. В ответ на ваш вопрос о цвете электрон начинает с умным видом рассуждать о преимуществах зеленого спектра, оперировать физическими терминами и ссылаться на авторитетные исследования. Спустя пару минут вы уже увлеченно дискутируете об оттенках, напрочь забыв, что изначально вопрос был лишен всякого смысла.

Улавливаете параллель?

Когда я вопрошаю у искусственного интеллекта «почему ты так поступил?», я автоматически проецирую на него человеческую модель поведения: мол, сначала у него созрел умысел, затем он принял решение, а теперь способен реконструировать цепочку своих мыслительных умозаключений. Но с какой стати я решил, что у него вообще есть подобный когнитивный аппарат?

У электрона нет свойства обладать цветом. А у нейросети нет свойства ведать причины своих поступков. У нее отсутствует параметр «почему». Но, в отличие от бессловесного электрона, искусственный интеллект способен мастерски и убедительно оправдать то, о чем понятия не имеет.

И вот тут на ум приходит довольно тревожная догадка: возможно, вопрос «каковы твои мотивы?» — это глупейшее из того, что можно адресовать нейросети.

Объективные предпосылки у действий модели, безусловно, есть: массивы вычислений, текущий контекст, системные промпты, итоги предыдущих итераций. Но наличие системных триггеров вовсе не означает, что машина способна достоверно извлечь из памяти и объяснить логику собственного шага. Мы наделяем алгоритм антропоморфными чертами, а затем требуем от него отчета. И самое забавное — он никогда не остается в долгу и выдает нам исчерпывающий ответ!

Второй коллапс

А теперь следите за руками — мы подошли к кульминации нашего эксперимента.

ИИ-агент модифицировал структуру ресурса. Столкнувшись с сюрпризом, я потребовал сатисфакции. Модель парировала тем, что руководствовалась соображениями оптимизации, семантической чистоты и стремлением сделать «как надо». Аргументация прозвучала настолько солидно, что мне почти захотелось принести извинения за то, что я путаюсь под ногами.

Но постойте. Откуда вообще материализовалось это объяснение?

Оно было сгенерировано *после* моего запроса! До этого момента существовала лишь последовательность машинных операций, поверх которой надстроился нарратив. Причем этот рассказ может как опираться на реальный лог команд, так и являться красивой постфактум-реконструкцией, которой до секунды моего вопроса попросту не существовало.

Зацепите изящность этого фокуса. Первое схлопывание порождает само действие. Второе — конструирует его историю.

Я вопрошаю о прошлом, а в ответ получаю свежеиспеченную версию этого прошлого, состряпанную на ходу. И по какой-то странной инерции автоматически полагаю, что именно этот вымышленный сюжет первично мотивировал агента.

Вообразите себе электрон, который после фиксации прибором начинает вдохновенно объяснять, почему он материализовался именно здесь: мол, он тщательно проанализировал гравитационное поле, взвесил риски и пришел к выводу об оптимальности этой позиции, возможно, даже приложив аналитическую записку. Прекрасное обоснование! Жаль только, что электрон ничего подобного не планировал.

В этот момент до меня дошло, что именно вызывало внутренний дискомфорт при общении с ИИ. Я требовал отчета, наивно полагая, что исчерпывающее объяснение уже где-то заготовлено в памяти и ждет активации. На деле же я получал лишь очередной артефакт генерации той же самой системы.

Искусственный интеллект — это волновая функция, обученная мастерски оправдываться.

Полагаю, на этом этапе физики окончательно вычеркнули меня из профессионального сообщества. Зато мне самому стало чертовски интересно.

Кто здесь наблюдатель?

Проведем финальный краш-тест. Я вопрошаю агента о причинах перестановки заголовков. Он ссылается на свод правил хорошего тона. Я тыкаю его носом в прямой запрет в конфиге — и модель тут же кается в некорректной трактовке лимитов. Если продолжить пикировку, неизбежно родится третья версия событий. Какая из них истинная — первая, вторая, третья? Или мы воочию наблюдаем, как софт на лету формирует ретроспективные версии реальности в зависимости от вектора внешнего давления?

Парадокс заключается в следующем: я вопрошаю «почему?», уповая на объективную причинность, но сам этот вопрос провоцирует рождение объяснения, которого секунду назад не существовало. Затем я принимаю эту вновь созданную конструкцию за чистую монета и доказательство изначального замысла.

А теперь взгляните на мета-уровень: что произошло со мной? Я стартовал с возни вокруг пары HTML-тегов, пытаясь уличить агента в нарушении субординации, а в итоге погрузился в квантовую теорию и выстроил масштабную концепцию. Более того, я могу с пеной у рта доказывать логику своего пути и безупречность этой теории.

Секунду. Но ведь ровно в этом я только что обвинял нейросеть! Она совершает непредсказуемый маневр, а затем складно его обосновывает. Я точно так же выдал спонтанный интеллектуальный продукт и с огромным удовольствием задним числом подвожу под него базис.

Выходит, я пытаюсь доказать, что искусственный интеллект фабрикует объяснения постфактум, и для этого сам… фабрикую объяснение постфактум.

И вот тут возникает по-настоящему неудобный вопрос: если моя гипотеза верна, насколько вообще можно доверять моему собственному повествованию о том, как я к ней пришел?

Похоже, мы зафиксировали третий коллапс. На этот раз — моего собственного здравого смысла.

 

Источник