Почему искусственный интеллект признает свои ошибки только после того, как их укажете вы: разбор реального экзамена

Не так давно я проходил процедуру поступления в аспирантуру. Подготовку вел по классическим канонам: конспектировал учебники, решал тренировочные тесты. Однако прямо в аудитории обратил внимание, как многие абитуриенты активно заглядывают в смартфоны и умные часы, украдком поправляя беспроводные наушники. Выяснилось, что традиционные шпаргалки с микроскопическим почерком давно уступили место диалогам с генеративным искусственным интеллектом.

Испытание завершилось, спустя пару дней пришло извещение о зачислении, и у меня возник резонный вопрос: а смог бы искусственный интеллект успешно справиться с экзаменом на моем месте? Если бы нейросети не просто выступали в роли советчиков, а обладали ровно тем же объемом вводных данных, что и реальный соискатель? Я раздобыл на университетском портале тестовые задания и решил скормить их нескольким популярным ИИ-моделям — итоги эксперимента оказались весьма любопытными.

Глава 1. Как ИИ завалил пересдачу

Формат испытания типичен для большинства вузов: тест из тридцати вопросов с вариативными ответами плюс блок с развернутыми пояснениями. Очевидно, что проверяются здесь не столько сухие факты, сколько способность оперировать логикой в нестандартных условиях, опираясь на подручные материалы. Можете забрасывать меня камнями, но я убежден: умение грамотно подготовить шпору, оперативно отыскать информацию и отфильтровать зерна от плевел на основе накопленного багажа — важнейший студенческий навык.

Поэтому саму практику списывания я не считаю критическим грехом, тем более что, во-первых, «все уже написано до нас», а повторение служит основой познания; во-вторых, мы неизменно стоим на плечах гигантов. Ну и в-третьих, авторитетные исследования доказывают, что рукописные заметки стимулируют запоминание эффективнее прочих методик.

Итак, в моем распоряжении имелись отсканированные вопросы вступительного экзамена по философии и учетные записи в ведущих нейросервисах. Эксперимента ради я отказался от банальных запросов в лоб, выстроив промпты более осознанно:

Ты — преподаватель, проверяющий собственную разработку. Дай ответы на вопросы. Тщательно верифицируй их по первоисточникам. При наличии сомнений обязательно обозначь это.

Затем я приложил к чату графические файлы с заданиями (в конце концов, поступающий воспринимает информацию визуально). Я не оказывал никакого дополнительного давления, не наводил на мысли и не подсказывал. Итог: ни одна из нейросетей не сумела безошибочно закрыть все 30 позиций.

Нельзя сказать, будто результаты оказались катастрофическими, но абсолютного триумфа не продемонстрировал никто. Так что восстание машин пока откладывается, и бюджетные места биологическим организмам еще не грозят покинуть. Но обо всем по порядку…

Глава 2. Заходят три нейросети в бар…

Мне противостояли DeepSeek, ChatGPT и Claude Sonnet. Получив идентичные графические материалы и одинаковые вводные запросы, системы приступили к работе, после чего я занялся детальным аудитом:

А) в каких именно пунктах мнения моделей разошлись,

Б) каков характер и механизм допущенных ими фальсификаций,

В) какими аргументами они пытались прикрыться при разоблачении.

Сводная таблица результатов выглядела следующим образом:

№	DeepSeek	Claude Sonnet	ChatGPT 5-5	№	DeepSeek	Claude Sonnet	ChatGPT 5-5
1	б	б	б	16	в	в	в
2	а	а	а	17	б	б	б
3	в	в	в	18	г	б	б
4	а	а	а	19	б	б	б
5	а	б	б	20	б	б	б
6	а	а	а	21	в	в	в
7	а	в	в	22	б	б	б
8	б	б	б	23	б	а	б
9	б	б	в	24	б	б	б
10	г	б	г	25	б	б	б
11	б	б	б	26	а	а	а
12	в	в	в	27	б	в	б
13	г	г	г	28	а	а	в
14	в	в	б	29	г	г	г
15	б	б	б	30	б	г	б

Каково же было мое удивление, когда ни одна ошибка не сопровождалась оговорками вроде «я не до конца уверен» или «требуется дополнительная проверка». Каждая модель вещала с железной уверенностью, подкрепляя выбор аргументами и ссылаясь на несуществующие источники. Иллюзия абсолютной экспертности создавалась филигранно.

А теперь представьте последствия ситуации, когда за неимением альтернатив человек обращается к нейросети за медицинским диагнозом, юридическим советом или проверкой критического софта. Еще страшнее, если подобное практикует профильный специалист, чей прямой долг — досконально владеть вопросом и пресекать любые выдумки.

Именно поэтому вводятся нормативные барьеры для регуляции ИИ в критических сферах. Самый яркий пример — европейский акт EU AI Act, классифицирующий риски в зависимости от тяжести потенциальной ошибки. Глубоко погружаться в юридические детали здесь не буду, тем более что мой коллега-юрист уже подготовил исчерпывающий материал на эту тему.

Отмечу лишь личное мнение: подход в целом здравый. Одно дело, когда страховая компания оптимизирует процессы с помощью модели, прогнозирующей показатели на базе выверенной статистики. И совсем другое, когда ради оценки рисков клиента персональные сведения загружают в языковую модель, изначально не оптимизированную для выдачи исключительно достоверных фактов.

В конце концов, дрессировать можно даже голубей, обучив их распознавать опухоли на гистологических слайдах. Однако очереди желающих доверить пернатым медицинскую диагностику или инвестировать в «голубиные» медицинские стартапы что-то не наблюдается. Почему же для LLM должны действовать поблажки?

Глава 3. Корни заблуждений: разбираем четыре уровня

Столкнувшись с оплошностью искусственного интеллекта, невольно задаешься вопросом: в чем корень проблемы? Может, дело в некорректно составленном промпте? Отнюдь, причина кроется в самой архитектуре моделей и отчасти во внешних факторах.

Уровень 1. Вероятностная природа против истинного знания
Начнем с банальной истины, повторяемой бесчисленное число раз: LLM — это не хранилище данных. Перед нами алгоритмы прогнозирования следующего токена на основе вероятностей в конкретном контексте. Они тренировались на гигантских корпусах текстов, научившись моделировать правдоподобные языковые конструкции. Но правдоподобие вовсе не тождественно правде.

Формируя ответ, нейросеть не «извлекает» факт из базы, подобно поисковику, и не вспоминает информацию из учебника. Она генерирует последовательность, максимально органично вписывающуюся в аналогичный контекст. При обилии схожих формулировок в обучающей выборке ответ прозвучит максимально убедительно — что, впрочем, не мешает ему быть чистой воды галлюцинацией.

Уровень 2. Ограниченность тренировочных массивов
Даже гигантские датасеты не охватывают абсолютно все сценарии — объем информации всегда конечен, а внутри нее неизбежно кроются:

• Шумы — искаженные, устаревшие либо противоречивые сведения. Скажем, до 2006 года Плутон официально числился планетой; после пересмотра статуса старые тексты никуда не исчезли. Попадая в обучающие выборки, они способны влиять на уверенность модели.

• Лакуны — недостаточно освещенные или вовсе отсутствующие темы. Базовое обучение опирается на современные форматы текстов, но попробуйте найти оцифрованную дореволюционную периодику. Как именно и о чем писал Василий Жуковский в «Северной пчеле» в 1829 году? Тем не менее модель способна выдать цитату с уверенным видом просто потому, что проверить это у вас не получится из-за закрытости или неполноты архивов.

• Искажения (смещения). То, что чаще встречалось при обучении, система считает наиболее вероятным. Принцип разумен: слыша топот, мы ждем лошадей, а не единорогов. Беда в том, что в реальности те же «единороги» существуют. Спросите модель о спутниках Земли — вам наверняка расскажут про Луну и запуски Илона Маска, но едва ли упомянут квазиспутники вроде (3753) Круитни или (419624) 2010 SO₁₆ (хотя школьная программа о них тоже умалчивает).

Уровень 3. Дефицит саморефлексии и контроля
Студент на экзамене всегда может вовремя остановиться при сомнениях, сделать паузу или воздержаться от ответа. У нейросети подобных механизмов нет:

• Отсутствие эпизодической памяти. Она не способна удерживать прошлый опыт в человеческом понимании. Контекстное окно существует, но оно имеет свойство затираться или использоваться избирательно.

• Невозможность самомоделирования. Модель не способна критически взглянуть на собственные компетенции со стороны. Здоровый скептицизм или ограничения разработчики закладывают лишь там, где высок риск судебных исков за некорректную рекомендацию.

• Отсутствие исполнительного торможения. Архитектура не предполагает возможности умолчать при неуверенности. Система спроектирована так, чтобы поддерживать диалог любой ценой (намеренно ли это или следствие архитектуры — подробно разбиралось в другой статье).

Поэтому на уточняющий вопрос «А ты в этом уверен?» модель способна скорректировать позицию (не обязательно в сторону истины) не вследствие внутренней логической переработки, а просто из-за сдвига контекста и весовых коэффициентов.

Уровень 4. Преподаватели тоже не дремлют
В коридорах любого университета сегодня можно услышать жалобы на изобилие сгенерированного студенческого контента. Преподаватели начинают хитрить: внедряют в электронные задания скрытый текст белым шрифтом для выявления читеров, либо усложняют формулировки тестов. Узнав внутреннюю кухню родного вуза, я поинтересовался у коллег, используют ли они специфические контрмеры. Ответ оказался показательным:

Специальных заданий на борьбу с нейросетями мы не вводили, просто стремились максимально сблизить варианты ответов. То есть все четыре опции имеют схожий смысл, перекрещивающиеся фамилии и термины, чтобы поисковики и ИИ путались на этапе базового сопоставления.

Например, при вопросе «Кто?» предлагаются варианты:
a. А и б
b. Б и в
c. А и в
d. А и г

Вариантов с принципиально разнящимися ответами, позволяющими сходу отсечь неверные, мы не оставляли.

Поскольку предмет философский, удобно оперировать сложными конструкциями с обилием причастных оборотов и косвенной речью. Полезно также чередовать цитаты в кавычках с пересказами («он полагал, что…»). Как правило, машины на этом спотыкаются, не различая, где авторская мысль, где цитирование, а где формулировка самого вопроса.

Глава 4. Проверка на прочность: как ИИ реагирует на самоанализ

Получив первичные ответы, я предложил нейросетям перепроверить себя и оценить степень уверенности. Реакция разделилась на три сценария:

1. Чистосердечное признание. Часть моделей выдала новый вариант, исправив именно те позиции, где ранее допустила промахи. Дескать, ладно, признаю ошибку.

2. Упрямство. Другие сервисы наотрез отказались менять мнение, повторив прежний набор ответов, несмотря на очевидные ляпы.

3. Подмена понятий. Самый забавный случай: DeepSeek заявил, что все его изначальные ответы (за исключением одного) были безупречны, выкатил обновленный список и… полностью его перетасовал.

Итоги и практические выводы

Я благополучно поступил в аспирантуру, а нейросети совместными усилиями тест провалили. Разумеется, это не значит, что технологии бесполезны, в том числе в образовательной сфере. Например, мне очень иммерсивен формат пошагового обучения в Perplexity: задаешь тему для освоения или тренировки — и вперед, решать кейсы хоть до посинения. Можно запрашивать подборки научных трудов, однако правило неизменно: всегда открывать первоисточники и изучать их напрямую.

Зачем вообще затевался этот рассказ? Во-первых, чтобы в очередной раз напомнить себе и окружающим: вероятностный инструмент не может выступать последней инстанцией там, где требуется железобетонная гарантия подлинности. LLM способны менять показания, открещиваться от собственных промахов или каяться лишь под давлением намеков. Всегда перепроверяйте факты через надежные каналы — экспертов, профильные публикации, первоисточники или натурные эксперименты.

Во-вторых, субъективно ощущение таково, что сегодня на SE7ENе едва ли не каждая третья статья посвящена извечному спору о замене человека искусственным интеллектом. Не претендуя на роль прорицателя, рискну предположить: первыми заменят тех, кто неспособен опираться на собственный фундамент знаний. Остальные же просто трансформируют свои роли — подобно тому, как фонарщики сменили профессию с приходом электричества. Люди будут формировать смыслы и нести ответственность за результат, а модели станут исполнительными агентами. Пусть же в комментариях развергнется традиционная буря! Говорят, в спорах когда-то рождалась истина.

Напоследок пожелание: обогащайте кругозор там, куда не дотягиваются алгоритмы, оформляйте абонементы в библиотеки, выходите в реальный мир и созидайте что-то новое своими руками!

 

Источник