ИИ-помощники: чем мы за них платим

1 час назад Прокомментировать Просмотры: 0

Итоги метаанализа 69 экспериментальных исследований 2022–2024 годов

Коротко

ИИ-ассистенты помогают выполнять задачи, пока остаются под рукой. Но в полевом эксперименте со старшеклассниками после отключения ChatGPT-подобного помощника ученики справлялись на 17% хуже тех, кто ИИ не использовал.
Теория когнитивной нагрузки (Cognitive Load Theory, CLT) выделяет три её типа: внутреннюю — связанную со сложностью материала, внешнюю — вызванную неудачной подачей, и релевантную — усилия, необходимые для формирования знаний. Препятствует обучению только внешняя нагрузка.
В UX главным инструментом служит снижение внешней нагрузки, и обычно этого почти достаточно: пользователь приходит решить свою задачу, а не освоить новый навык. Однако хороший пользовательский опыт предполагает оптимальный уровень нагрузки, а не её полное отсутствие.
ИИ способен одновременно снижать все три вида нагрузки. В экспериментах с LLM когнитивные усилия сокращались, но вместе с ними ухудшались качество рассуждений и глубина знаний. ИИ снимает не только лишнюю нагрузку, но и необходимость самостоятельно разбираться в материале.
Поэтому для ИИ-продукта недостаточно просто уменьшить внешнюю нагрузку. Нужно предусмотреть механизмы, которые оставляют часть умственной работы пользователю: предлагать объяснения вместо готовых решений, просить оценить ответ до его принятия и постепенно сокращать подсказки по мере роста опыта.
Практический принцип прост: передавайте ИИ рутинные усилия, но не ту работу, которую человек должен выполнять сам.

Начнём с очевидного: ИИ-ассистенты действительно приносят пользу. Метаанализ 69 экспериментальных исследований, проведённых в 2022–2024 годах, показывает, что ChatGPT повышает академическую успеваемость и мотивацию, способствует мышлению высокого порядка и одновременно сокращает умственные усилия. Для продуктовой команды это звучит почти идеально: пользователь получает лучший результат и меньше устаёт.

Но здесь есть важный нюанс. В полевом эксперименте, в котором участвовали почти тысяча старшеклассников, решавших задачи по математике, доступ к GPT-4 повысил результаты практических занятий: на 48% — в варианте с привычным интерфейсом ChatGPT и на 127% — в версии с защитными подсказками. Однако после отключения ИИ ученики из первой группы выполнили задания на 17% хуже тех, кто им не пользовался. Ассистент действовал как костыль: пока он был рядом, результаты улучшались, но после его отключения выяснилось, что знания не закрепились.

Подобные ситуации знакомы всем, кто использовал ИИ-инструменты в работе:

младший разработчик принимает одну за другой подсказки Copilot и быстро закрывает задачи, но на код-ревью не может объяснить логику своего решения;
аналитик получает от ИИ готовый обзор рынка, вставляет его в презентацию, а затем не может ответить на первый же уточняющий вопрос руководителя;
специалист поддержки отвечает клиентам сгенерированными шаблонами, но спустя полгода по-прежнему плохо знает продукт;
студент сдаёт безупречно оформленное эссе, подготовленное с помощью ChatGPT, но не способен пересказать его аргументы своими словами.

Во всех этих примерах показатели выполнения выглядят убедительно: задачи завершены быстрее, времени потрачено меньше, пользователи довольны. Но новых навыков не появилось.

На первый взгляд это противоречит привычному принципу хорошего интерфейса: чем меньше усилий, тем лучше. Возможно, однако, усилия бывают разными — и ИИ устраняет не только те, от которых действительно нужно избавиться.

Три типа нагрузки

Чтобы понять, какие усилия избыточны, обратимся к теории когнитивной нагрузки (Cognitive Load Theory, CLT). Она опирается на особенности человеческой памяти. Новая информация сначала поступает в рабочую память, ограниченную и по объёму, и по времени хранения. После обработки сведения могут закрепиться в долговременной памяти, возможности которой, насколько известно, не имеют подобных ограничений. Когда человек извлекает уже усвоенное знание из долговременной памяти, ограничения рабочей памяти на него не распространяются.

Из этого следует важный вывод: экспертность во многом определяется содержанием долговременной памяти. Эксперт отличается от новичка не увеличенным объёмом рабочей памяти, а тем, что он многократно сталкивался с похожими задачами и располагает готовыми схемами их решения. Новичку же приходится шаг за шагом выстраивать решение, используя ограниченные ресурсы рабочей памяти. По оценке Джона Свеллера, накопленные знания — главный, а возможно, и единственный изменяемый источник различий между людьми.

Исходя из этой модели, CLT выделяет три вида нагрузки:

внутренняя нагрузка (intrinsic load, ICL) — сложность изучаемого материала, то есть количество элементов, которые нужно удерживать одновременно, и степень взаимосвязи между ними;
внешняя нагрузка (extraneous load, ECL) — усилия, вызванные формой подачи информации: например, разнесёнными подписями, ненужными деталями или запутанной навигацией;
релевантная нагрузка (germane load, GCL) — умственная работа, которую человек выполняет, чтобы сформировать и закрепить схемы знаний, то есть чтобы учиться.

Внутренняя и внешняя нагрузки суммируются. Если их совокупный уровень превышает возможности рабочей памяти, человек сталкивается с перегрузкой. Отсюда следует классический принцип проектирования: внешнюю нагрузку следует устранять, а внутренней — управлять, но не избавляться от неё. Сложность самого материала и составляет предмет обучения: если устранить её полностью, учиться будет нечему. Ресурсы, освободившиеся благодаря уменьшению внешней нагрузки, можно направить на работу с внутренней сложностью — этот процесс называют релевантной обработкой.

Дополнительные эффекты когнитивной нагрузки

Сразу оговоримся: статус релевантной нагрузки в теории остаётся предметом дискуссии. Одни исследователи считают её отдельным видом нагрузки, который следует поддерживать или усиливать. Другие полагают, что это не самостоятельный тип нагрузки, а часть ресурсов рабочей памяти, направленная на освоение внутренней сложности. Метаанализ субъективных опросников в целом подтверждает трёхфакторную модель, однако взаимосвязи между типами нагрузки не всегда соответствуют теоретическим ожиданиям. Авторы шкал также признают, что понятие релевантной нагрузки остаётся спорным как с точки зрения измерения, так и в теоретическом отношении. Более сдержанный подход трактует её так: релевантная обработка — это работа с внутренней сложностью материала. Без такой сложности ей нечего обрабатывать.

Преимущества и недостатки методов оценки когнитивной нагрузки

Принципы UX

Теперь применим эту модель к пользовательскому опыту. Систематический обзор 19 исследований, посвящённых когнитивной нагрузке и UX, приводит к ясному выводу: высокая нагрузка связана с более медленным и менее точным выполнением задач, раздражением и нежеланием возвращаться к продукту. Один из главных способов улучшить интерфейс — сократить внешнюю нагрузку. Именно поэтому используют привычные приёмы: упрощают интерфейс, автоматически заполняют поля, дают ясную обратную связь, показывают прогресс и постепенно открывают сложные сценарии.

Оценка когнитивной нагрузки в исследованиях UX

Почему для UX этого почти хватает? У пользователя другая цель: он хочет выполнить нужное действие, а не сформировать новую схему знаний в долговременной памяти:

менеджеру нужно оформить заказ в CRM и отправить его, а не изучить устройство справочника номенклатуры;
покупателю важно быстро перевести деньги через мобильный банк, а не разбираться в платёжных протоколах;
бухгалтеру нужна правильно сформированная выгрузка из 1С, а не понимание того, как создаётся XML;
дизайнеру требуется экспортировать макет из Figma в нужных форматах, а не изучать принципы рендеринга.

В таких ситуациях автоматизация, которая полностью берёт на себя выполнение задачи, полезна. Навык, который при этом не формируется, пользователю просто не нужен.

Но и здесь есть важное уточнение. Даже в UX задача состоит в том, чтобы сбалансировать нагрузку, а не свести её к нулю. В том же обзоре отмечается, что чрезмерно низкая нагрузка вызывает скуку, а чрезмерно высокая — утомление; для сложных задач подходит умеренный уровень нагрузки. Кроме того, релевантная нагрузка в исследованиях положительно связана с удобством использования, тогда как внутренняя и внешняя — отрицательно. Иными словами, хороший интерфейс не обязан делать всё за пользователя, но в большинстве обычных продуктов сокращение внешней нагрузки остаётся главным и почти единственным рычагом.

Анкета для оценки когнитивной нагрузки учащихся

Есть и методологический нюанс, из-за которого проблему легко не заметить. В 11 из 19 исследований, рассмотренных в обзоре, измеряли общую нагрузку, не разделяя её на отдельные виды. Чаще всего использовали NASA-TLX — инструмент для оценки рабочей нагрузки в целом. Если учитывать только общий показатель, уменьшение внешней нагрузки и сокращение релевантной обработки выглядят одинаково — как положительный результат.

Как ИИ меняет эту логику

Если без изменений перенести принципы UX на ИИ-ассистента, получится инструмент, который убирает любую нагрузку без разбора. Эксперименты показывают, что именно это нередко и происходит.

В рандомизированном исследовании 91 студент готовил рекомендации о безопасности солнцезащитных средств с наночастицами. Одна группа использовала ChatGPT-3.5, другая — Google. Участники, работавшие с LLM, сообщали о меньшей нагрузке по всем трём шкалам: внешней, внутренней и релевантной. При этом итоговые обоснования у них были хуже, чем у студентов, использовавших поисковик. Та же закономерность обнаружилась в серии из семи онлайн- и лабораторных экспериментов с 10 462 участниками: люди, изучавшие тему по сводке LLM, а не по результатам веб-поиска, усваивали её менее глубоко, даже если располагали теми же фактами. Их последующие рекомендации были менее содержательными и оригинальными и реже получали одобрение.

Почему уменьшается именно внутренняя нагрузка? По определению она связана со сложностью материала, а задача в обеих группах была одинаковой. Возможное объяснение в том, что ИИ меняет не только способ подачи, но и сам материал, с которым взаимодействует пользователь. Поисковик показывает источники, которые человеку нужно сопоставить, связать и обобщить самостоятельно. LLM сразу выдаёт синтезированный ответ: элементы уже объединены, противоречия сглажены, а вывод сформулирован. Часть работы с внутренней сложностью выполнена ещё до того, как пользователь увидел результат. Когда связывать элементы больше не нужно, исчезает и часть возможностей для обучения — вслед за этим сокращается релевантная обработка.

Проще говоря, хороший интерфейс убирает помехи вокруг задачи, тогда как ИИ способен взять на себя саму задачу. В терминах CLT различие таково: UX уменьшает внешнюю нагрузку, а ИИ может одновременно сокращать внешнюю, внутреннюю и релевантную.

Когнитивная нагрузка при использовании ИИ

Как оставить пользователю возможность думать

Значит ли это, что ИИ мешает обучению? Нет. Важен и способ взаимодействия с ним. В трёхэтапном исследовании с участием 589 студентов и молодых специалистов выделили два режима когнитивной разгрузки (cognitive offloading). При зависимой разгрузке пользователь передаёт ИИ сам процесс мышления, а при автономной использует его как поддержку, самостоятельно принимая решения. Эти режимы почти не связаны друг с другом: один и тот же человек может часто обращаться к ИИ, но использовать его по-разному. Зависимая разгрузка связана с передачей ИИ когнитивных решений и снижением внутренней мотивации. Автономная — с сохранением мотивации и более позитивной оценкой собственных мыслительных способностей.

Схожая взаимосвязь обнаружилась и среди работников умственного труда. В опросе 319 человек более высокое доверие к генеративному ИИ сочеталось с менее выраженным критическим мышлением, а большая уверенность в себе — с более выраженным.

Связь доверия к ИИ с критическим мышлением

Важно учитывать ограничения этих работ: оба исследования носят корреляционный характер, а результаты первого основаны на самооценках участников. Они не доказывают, что именно выбранный режим использования приводит к изменениям. Тем не менее выводы согласуются с экспериментальными данными о влиянии дизайна. Есть и настораживающий момент: оба режима дают одинаковую немедленную пользу. По собственным ощущениям пользователь не поймёт, помогает ли ему разгрузка или мешает. Поэтому нельзя рассчитывать, что человек сам выберет подходящий сценарий, а показатели удовлетворённости эту разницу не выявят.

Практический вывод: механизмы, помогающие человеку самостоятельно обрабатывать информацию, нужно закладывать непосредственно в продукт. Исследователи предлагают показывать объяснения вместе с подсказками, просить оценить результат ИИ до его принятия, добавлять паузу перед использованием ответа и подбирать уровень поддержки с учётом сложности задачи. Например:

ассистент в IDE сначала предлагает младшему разработчику предположить, в чём ошибка, и лишь затем показывает исправление и объясняет его;
исследовательский помощник предоставляет аналитику не готовую сводку, а источники и расхождения между ними, предлагая самостоятельно сформулировать вывод;
ассистент службы поддержки не пишет за оператора ответ клиенту, а указывает на нужный раздел базы знаний и помогает проверить подготовленный ответ;
образовательный бот подводит студента к решению с помощью вопросов, а не выполняет за него задачу.

В каждом случае ИИ по-прежнему снижает внешнюю нагрузку — помогает искать информацию, форматировать её и выстраивать структуру, — но сопоставление данных и формулировка вывода остаются за человеком.

Наконец, такую поддержку не следует оставлять неизменной. В CLT описан эффект обратного влияния экспертности (expertise reversal): приёмы, полезные новичкам, по мере накопления опыта становятся менее эффективными и могут даже мешать. Подсказки, нужные младшему специалисту, способны раздражать или отвлекать опытного. Поэтому поддержку, сохраняющую самостоятельную обработку, следует постепенно ослаблять, по мере того как у пользователя формируются собственные схемы: сначала опора, затем проверка и, наконец, полностью самостоятельная работа.

Сохранение навыков при уменьшении когнитивной нагрузки

Выводы

Общая логика такова: рабочая память ограничена, а экспертность развивается благодаря работе с внутренней сложностью материала и закреплению знаний в долговременной памяти. Внешняя нагрузка мешает этому процессу, поэтому её сокращают и в UX, и в обучении. Обычный продукт может на этом остановиться: пользователю важен результат, а не приобретение навыка. ИИ-ассистент способен убрать не только внешнюю нагрузку, но и саму работу с материалом. Вместе с внутренней и релевантной нагрузкой может снизиться и глубина усвоенных знаний.

Из этого следуют три вывода. Первый: для продукта с ИИ снижение внешней нагрузки необходимо, но само по себе недостаточно. Второй: если человек должен оставаться участником процесса — проверять результат, принимать решения и нести за него ответственность, — дизайн продукта обязан сохранять за ним работу с материалом. Надеяться лишь на сознательность пользователя недостаточно. Третий: показатели общей нагрузки и удовлетворённости не позволяют отличить полезное упрощение от вредного. Нужно проверять, что человек способен сделать без помощи инструмента.

Если свести рекомендации к практическому минимуму, получится следующее: поручать ИИ поиск, форматирование и рутинные операции; оставлять человеку сопоставление информации, формулирование выводов и оценку результата; встраивать объяснения и проверку ответа до его принятия; уменьшать объём подсказок по мере роста опыта; периодически проверять, как пользователь справляется без ИИ.

Статья подготовлена при участии Claude Code (Anthropic). Автор отобрал и изучил исследования, определил основную идею и написал черновой вариант материала. Claude Code вычитал и отредактировал текст, а также подготовил инфографику.