Изучение пользовательского опыта на примере проекта Planet of Heroes.
Руководитель UX-лаборатории Mail.Ru Group Ксения Стернина и сооснователь нейромаркетинговой лаборатории Brain Company Андрей Кислов написали для DTF статью, в которой рассказали, как анализ активности мозга помогает в пользовательских исследованиях.
Удовлетворение от использования развлекательного продукта должно превосходить ожидания пользователя, но возникает вопрос — как можно его измерить? Опросников в этом случае недостаточно. Стремясь к получению объективных данных, исследователи начинают применять более тонкие инструменты, позволяющие определить биологические реакции организма человека на стимул, например, с использованием нейрофизиологии.
Пользовательские исследования, основанные на биометрии — не открытие в своей области, но в России ещё не имеют широкого применения.
Что такое нейроисследования игр?
Нейроисследования игр подразумевают регистрацию сердцебиения, движения глаз, дыхания и различных ритмов мозга пользователя во время игры. Измеренные физиологические показатели можно связать с психологическими изменениями — например, частота сердечных сокращений увеличится, а зрачки расширятся, если человек испугался.
Нейрофизиологические данные помогают выделить моменты геймплея, на которые реагировали игроки, и проанализировать характер реакции — испытали ли они радость, скуку, вовлечение или раздражение.
В этой статье мы расскажем о том, как продвинулись в анализе нейро-данных человека во время игры: выделили критерии вовлечённости и раздражённости игрока, научились определять эмоции игрока в каждый момент времени, а затем протестировали и дали рекомендации для игры Planet of Heroes.
Исследуемая игра
Planet of Heroes разрабатывается при активном участии игрового комьюнити. Каждый этап разработки сопровождался исследованиями с пользователями, в том числе с использованием методов нейрофизиологии.
Planet of Heroes – это мобильная MOBA, оптимизированная для смартфонов. В игре сохранены главные особенности жанра: динамичные сражения двух команд, тактические решения, герои с уникальными наборами умений. Игровая сессия длится около 7 минут. Для более глубокого погружения в тактику существуют система рун и апгрейд снаряжения, которыми можно заняться в спокойном режиме между матчами. Руны и смайты позволяют создавать собственный билд и выбирать его в зависимости от состава команды.
В игре также присутствуют сюжетные кампании — выполняя задания по спасению Вселенной, герои получают опыт и предметы для повышения уровня снаряжения. В режиме тренировки можно протестировать сразу трёх героев в одном матче против искусственного интеллекта.
С 12 января 2017 года игра в софт-лонче.
Исследования с пользователями
В процессе разработки игры много внимания уделялось исследованиям с участием самих игроков. Фокус-группы и плей-тесты мы начали использовать ещё на ранних этапах исследования, когда нужно было решить, как и для кого делается игра.
Фокус-группы
Разработчики считали, что их потенциальная целевая аудитория — это повзрослевшие активные игроки League of Legends. Они уже не могут уделять хобби по несколько часов в день, но с радостью бы поиграли по пути на работу или в обеденный перерыв.
Исследователи должны были проверить, действительно ли этой аудитории потенциально может быть интересна мобильная игра жанра MOBA. Кроме того, надо было понять, какие именно фичи делают «мобу» «мобой» и должны остаться в игре, а без каких можно обойтись — ведь игра должна работать на мобильном устройстве.
После проведения фокус-групп мы окончательно утвердились в том, на какую целевую аудиторию рассчитываем, а также выработали гипотезы по различным особенностям игры, которые в дальнейшем проверяли на плей-тестах.
Плей-тесты и интервью
После фокус-групп у нас собрался список фич игры и особенностей их реализации, которые хотелось верифицировать. Для этого мы провели 100 плей-тестов в четырёх подгруппах, где игроки играли в игры-референсы (Vainglory, West Arena, Dawn of Titans, Darkness Reborn). По ходу плей-теста мы фиксировали поведение и комментарии игроков, а также провели с некоторыми игроками глубинное интервью, что помогло определиться с тем, какие фичи и каким образом будут реализованы в нашей игре.
Онлайн-опросы
Для того, чтобы «угодить» целевой аудитории с визуальной составляющей игры, мы провели онлайн-опрос потенциальных пользователей в нескольких странах. Для начала мы собирали информацию об игроках: демографию и географию, как часто и как долго они играют в игры, на каких устройствах, в каких ситуациях, какие предпочитают жанры, игры и героев в них. После этого мы просили игроков представить себе идеальную MOBA на смартфоне, и выбрать из нескольких вариантов визуальное представление нескольких типов героев, арены, лобби. Затем просили выбрать для каждого из представленных артов несколько характеристик, которые наиболее точно его отражают, например, для героев:
— Высокодетализированная графика;
— Реалистичные пропорции;
— Ожидаемые элементы снаряжения и так далее.
Опрос помог понять, как аудитория воспринимает разработанных командой героев, арену и лобби.
Юзабилити-тестирование с трекером глаз
В тот момент, когда часть геймплея уже можно было показывать игрокам, мы подключили к разработке юзабилити-тесты. Дизайнеры прописали около сотни гипотез того, что нужно было проверить — это и проверка заметности и понятности элементов интерфейса (например, замечают ли пинг на мини-карте, понимают ли, как сбросить каст способности), и сбор фидбека по визуальной составляющей (например, нравится ли прорисовка монстров в лесу), непосредственно геймплей (победил ли второго босса в PvE, и было ли это легко), и другие важные нюансы (например, продолжительность матча по ощущениям и её комфортность).
После первого теста у игроков были проблемы в некоторых гипотезах, эти пункты выделялись и превращались в задачи на доработку в следующий спринт. К моменту следующего теста остались проблемные гипотезы для проверки, а также появились новые, поскольку добавился функционал, и немного изменился геймплей. Таким образом, было пройдено несколько итераций, пока игра не вышла в бету, и команда не стала собирать фидбек от игроков вне лабораторных условий.
Исследование с использованием нейрофизиологии
Предпосылки к исследованию
Во время юзабилити-тестирования мы наблюдали за тем, как люди играют в Planet of Heroes. Благодаря данным айтрекера, мы легко понимали, замечают ли они нужные элементы и нажимают ли на них. Но перед нами стоял более сложный вопрос: интересен ли пользователям игровой процесс. Несмотря на проведённые интервью и полученные ответы, нельзя быть уверенными в объективности данных. Во-первых, потому что «все лгут»: кто-то не хочет обидеть модератора или сказать «что-то не то», кому-то сложно провести самоанализ и ответить на вопрос. Кроме того, невозможно давать опросник и оценивать состояние игрока каждую секунду, в то время как нейрометоды позволяют это делать.
Совместная работа UXlab Mail.Ru и Brain Company
Летом 2016 года сотрудники UX-лаборатории Mail.Ru Group посетили Центр Нейроэкономики и Когнитивных Исследований НИУ ВШЭ, на базе которого работает нейромаркетинговое агентство BrainCompany, чтобы разобраться, смогут ли нейрофизиологические исследования помочь понять ощущения людей во время игры. Несмотря на то, что задача была для коллег в новинку, они с удовольствием взялись за проект. Над ним работала команда Brain Company.
Первый этап исследования: методология и проблемы
Когда мы только начали разбираться в методах исследования, стало понятно, что сами по себе значения нейрофизиологических показателей не могут дать полезной информации. Поэтому мы решили сравнить Planet of Heroes с двумя другими проектами: успешным китайским аналогом League of Kings и самой скучной, на наш взгляд, игрой — «симулятором камня», в котором ты можешь только разглядывать камень с разных сторон.
Пользователям предлагалось сыграть по два PvP-боя (против других игроков) в каждой из игр жанра MOBA и посмотреть на камень в течение двух минут.
Во время игры наши респонденты были обвешаны нейрофизиологическими датчиками.
Датчики позволяли замерять нейрофизиологические показатели участников эксперимента:
— Биопотенциалы головного мозга — ритмы мозга, замеряемые методом электроэнцефалографии;
— Кожно-гальваническую реакцию (изменение электропроводимости кожи, другими словами, насколько потеют руки), показатель общего напряжения;
— Частоту сердечных сокращений;
— Сокращения мимических мышц. Часть мышц на лице сокращается во время переживания положительных эмоций (улыбка), часть — при негативных (человек хмурится). Наши датчики позволяли фиксировать их активацию.
Во время первого этапа исследования мы обнаружили ряд подводных камней. Некоторые из них, конечно, можно было предсказать, но о существовании некоторых проблем мы узнали после завершения работы:
1. Установка датчиков занимала огромное количество времени — около двух часов на человека. Позже мы поняли, что некоторые из них не дают нам никакой полезной информации;
2. Для того, чтобы снизить влияние ощущений человека от одной игры на ощущения от другой, необходимо чередовать порядок игр в ходе исследования. Мы не меняли порядок игр для респондентов — каждый из них начинал с Planet of Heroes. Это было сделано специально, поскольку у нас было всего 4 респондента, и смена очерёдности нам бы не помогла;
3. Айтрекер постоянно «терял» взгляд игроков. Это было связано с местом проведения исследования — в нём не оказалось стула с регулировкой высоты. Мобильный айтрекер — чувствительный прибор и записывает движения глаз только в определённом диапазоне. Часть игроков из-за своего роста в него не вписалась;
4. В подобных исследованиях перед тем, как показывать стимульные материалы, необходимо определить baseline каждого респондента — условный ноль, с которым сравниваются остальные результаты. Респондент должен был смотреть в одну точку в течение 1-2 минут. Мы отказались от процедуры для экономии времени;
5. Мы не смогли посмотреть данные в секундном разрешении — у нас не было таких технических возможностей.
Осознав свои ошибки, мы существенно доработали методологию. В первую очередь, было решено выделить корреляты раздражения и вовлечения в игровой процесс. Нужно было выяснить, как увидеть вовлечение и раздражение человека на базе нейрофизиологических данных. Мы использовали популярный гоночный симулятор, в котором меняли условия игры от максимально интересных до максимально скучных. Например, заставляли испытуемых проехать 10 кругов с минимальной скоростью и без соперников. Поверьте, это фантастически бесит!
Затем мы научились обрабатывать данные в посекундном разрешении и получили возможность фиксировать уровень вовлечения и раздражения в каждый конкретный момент времени.
Кроме этого, мы существенно «облегчили» процедуру подготовки к тесту, отказавшись от нескольких датчиков — она стала занимать 15 минут.
Поскольку наша основная задача — принести пользу проекту, а не просто поупражняться в сложных задачах, необходимо было сократить анализ данных до минимума, ведь бизнесу всегда необходимы результаты очень срочно. Мы автоматизировали обработку данных и значительно сократили время проведения проекта. На проведение исследования, обработку данных и формирование отчёта мы потратили всего 3 рабочих дня.
Второй этап исследования: методология и результаты
Мы снова взяли три игры — исследуемую Planet of Heroes и два конкурента в том же жанре — Mobile Legends и League of Kings. При этом каждый из респондентов получал свой порядок игр, таким образом нивелировался эффект от порядка.
В каждой из игр пользователям предлагался туториал, режимы PvP и PvE.
Так выглядит электроэнцефалограмма игрока во время игры.
На электроэнцефаллограмме отражается изменение биоэлектрической активности мозга по времени в разных участках скальпа (каждая кривая соответствует своему электроду). Данные, представленные в таком виде, не дают нам никакой полезной информации. Поэтому следующим шагом было превращение этих графиков в метрики, которые мы разработали ранее, — вовлечение, раздражение и полюс эмоции.
Основные результаты
В целом по игре получилось, что Planet of Heroes вызывает высокое вовлечение, и наименьшее, по сравнению с конкурентами, раздражение. Кроме этого, мы получили достаточно большое количество информации по поводу реакции игроков на различные элементы интерфейса и частей геймплея. Некоторыми из них мы с вами поделимся.
Обучение игре
В туториале всё было иначе — он вызывал отрицательные эмоции, в то время как аналогичные этапы у других игр вызывали положительные.
На этих диаграммах представлены средние значения наших метрик. Числа по оси ординат — это нормированные значения различных ритмов мозга, измеряемые в милливольтах в квадрате.
Мы решили определить, чем отличаются туториалы, и разобраться, что может вызывать негативные реакции в Planet of Heroes и позитивные в играх-конкурентах.
Для того, чтобы понять, что происходило в конкретный момент времени, мы построили посекундную динамику изменения наших метрик.
Здесь по оси абсцисс — секунды, ординат — нормированные значения метрик. Каждое из полученных абсолютных значений метрик мы делили на максимальное в этом ряду. Таким образом, «1» показывает самое большое значение в этом ряду, «0» — самое маленькое.
То есть в каждый временной промежуток можно сказать, каков был уровень вовлечения, раздражения и эмоции.
После этого мы выделили максимальные и минимальные значения. При анализе нас интересовали только максимальные — мы хотели понять, что в нашей игре сделано не оптимально по сравнению с конкурентами.
Затем мы просмотрели запись того, как респонденты проходили обучение и соотнесли то, что происходило с игроком, с тем, что получалось по нашим метрикам.
Мы обнаружили, что одни и те же этапы геймплея могут вызывать противоположные реакции в нашей исследуемой игре и игре-конкуренте. Например, завершение боя в Planet of Heroes вызывает сильное раздражение и отрицательную эмоцию, а в игре-конкуренте — сильное вовлечение. Мы выделили моменты сильного раздражения и вовлечения, проанализировали видеозаписи с тестов и выделили отличия в играх, которые и могли быть причиной различной реакции.
Рекомендация. Логичной рекомендацией является разделение «victory» и звёзд на два экрана и добавление музыки.
Рекомендация. Мы рекомендовали сделать сражение один на один с героем на большем пространстве.
Кроме этого, мы выявили наличие низкого вовлечения и отрицательной эмоции на диалогах игрока и других героев во время прохождения обучения (у конкурента они отсутствуют) и порекомендовали сократить их количество.
PvP — сражение с реальными игроками онлайн
В режиме PvP Planet of Heroes продемонстрировала хорошие показатели вовлечения, и в целом позитивный отклик, но уровень эмоций был всё-таки ниже, чем в играх-конкурентах.
Также следует учитывать, что на графике представлены средние значения наших метрик, которые складываются как из позитивных моментов, так и из негативных.
Мы решили посмотреть, что именно могло вызвать снижение вовлечения и формирование негативных эмоций. Анализируя это, мы выяснили, что наименее вовлекающими моментами в игре является время ожидания респауна и время, когда игрок идет от базы.
Диаграмма отражает основные элементы, вызвавшие низкое вовлечение. Размер секторов диаграммы соответствует вкладу каждого из элементов в минимальные значения низкого вовлечения.
Как и при работе с туториалом, мы проанализировали реакции на схожий элемент геймплея во время игры в проекты-конкуренты.
Мы выяснили, что во время респауна в Planet of Heroes игроки испытывают слабое вовлечение и негативные эмоции. Во время респауна у конкурентов игрок также ощущает слабое вовлечение, однако наряду с этим присутствуют положительные эмоции и меньшее раздражение. Можно сказать, что респаун в играх-конкурентах — комфортное времяпрепровождение.
Мы предположили, что такое различие по метрикам может быть связано с тем, что счетчик времени до респауна занимает большую часть экрана и оттягивает на себя всё внимание так, что следить за боем становится сложно. Мы рекомендовали уменьшить его размер и перенести его вниз или наверх.
Схожие результаты показал путь от базы. В Planet of Heroes он вызывает наименьшее вовлечение, наибольшее раздражение и наиболее отрицательные эмоции, в то время как у конкурента он вызывает сильное вовлечение со слабым раздражением.
Рекомендация. В Planet of Heroes путь от базы занимает 25 секунд, а в League of Kings — 12. Предполагаем, что следует ускорить этот путь или сделать его более интересным. Это может быть способность персонажа кувыркаться, чтобы было интереснее идти, или увеличение скорости перемещения, или добавление ускорения с базы в самом начале матча и после респауна, которого бы хватило добежать до первой башни.
Для чего разработчикам могут пригодиться нейрофизиологические исследования
Мы собираем информацию о том, что люди говорят, наблюдаем за тем, что они делают и фиксируем, что они ощущают во время игры — в совокупности эта информация позволяет приоритезировать, какие изменения следует произвести в первую очередь, а какие позже.
За счёт инструментов нейрофизиологического исследования удаётся извлекать объективную информацию — запись изменений во времени, и конкретную — реакция на отдельные элементы. При этом есть возможность видеть картину в целом — анализ общего эмоционального состояния на протяжении всего геймплея.
Непрерывная запись изменения ощущений игрока в связи с тем или иным элементом игры (интерфейс, геймплей, анимация) позволяет более точно судить о впечатлениях — нравится ли он, раздражает ли, замечают ли его вообще. Понимая, как люди реагируют на различные элементы игры, геймдизайнеры могут изменять их и проверять, насколько их изменения были удачными.
Нельзя сказать, что существует единое универсальное решение для любой игры любого жанра. Игра в социальной сети не должна занимать более пяти минут и выиграть матч в ней должно быть гораздо проще, чем в шутере с часовым геймплеем. Однако анализ нейрофизиологических показателей может помочь при разработке любых игр любого жанра.
Источник:
