Мы адаптировали наш материал для русскоязычной аудитории и добавили в текст эксклюзивные заметки о процессе аналитической работы, специально для читателей SE7ENа.
Автор исследования и оригинальной публикации: Влад Нижутин, сооснователь и CPO, Pneumatix Research.
TL:DR
Сразу после выхода в Steam, игра Far Far West использовала внутриигрового NPC для прямого побуждения игроков оставлять отзывы. В конце диалога открывалась страница магазина, что является грубым нарушением правил платформы.
Применив алгоритмы обнаружения аномалий, мы выявили всплески активности, которые с высокой точностью коррелируют с 30-минутным игровым циклом. Используя две аналитические модели, мы пришли к выводу, что от 23% до 50% всех отзывов были сгенерированы искусственно: без этого приема игра получила бы от 17 до 26 тысяч отзывов вместо зафиксированных на момент анализа 33 тысяч.
После вирального обсуждения на Reddit разработчик отредактировал реплику персонажа, но сохранил прямую ссылку на страницу игры. Valve осталась в стороне, а игровое сообщество в целом встало на сторону разработчика. Мы рассматриваем это как системную проблему, требующую объективной количественной оценки.
Контекст
В мае, вскоре после релиза, наше внимание привлек пост в профильном сабреддите, автор которого указывал на очевидное пренебрежение пользовательским соглашением (ToS) Steam:
Запрещено призывать пользователей оценивать ваш продукт непосредственно внутри приложения.
В ранней версии игры в основном хабе находился NPC Steamy с логотипом Steam вместо головы, который буквально просил:
По повелению Гейба Ньюбота я прибыл с поручением: будь добр, оставь отзыв в Steam!
Нажатие клавиши F завершало диалог и принудительно открывало страницу игры в браузере.
Спустя сутки разработчик смягчил формулировку:
По указу Гейба Ньюбота приглашаю ковбоев в наш магазин! А что вы там предпримете — уже выходит за рамки моих полномочий.
Дискуссия в сообществе r/Steam разделилась. Сторонники проекта настаивали на том, что:
-
Игра объективно хороша и стала бы хитом без всяких уловок.
-
Призыв к оценке — это не то же самое, что призыв к положительной оценке, а значит, нарушение формально отсутствует.
-
Подобная практика широко распространена.
Оппоненты, в свою очередь, аргументировали:
-
Нарушение правил создает неконкурентные преимущества; требования должны быть равны для всех.
-
Многие разработчики сталкивались с отклонением заявок из-за куда менее значимых проступков; отсутствие прозрачности в модерации вызывает серьезное недовольство.
Независимо от того, кто прав, мы решили углубиться в этот кейс. Как исследовательская команда, мы располагаем инструментарием для верификации подобных гипотез, и нам показалось важным провести независимый анализ без эмоциональной предвзятости.
Оказало ли это влияние на отзывы?
Начнем с фундаментального вопроса: имело ли место влияние? Сравним распределение отзывов по времени сессии для двух сессионных проектов: Slay the Spire 2 и Far Far West.
Разница очевидна.
В случае с Far Far West мы наблюдаем «базовую» плавную кривую и явные аномальные «пики» (spikes).
Хотя подобные всплески встречаются и в Slay the Spire 2, их интенсивность в разы меньше.
Визуализируем эти отклонения с помощью алгоритма, выявляющего существенные отклонения от средних значений соседних интервалов.
Комментарий
Мы могли бы сразу представить график с «подсвеченными» аномалиями, но выбрали путь нарративного изложения, чтобы показать логику расследования. Стремясь поднять уровень аналитики в индустрии, мы стараемся балансировать между глубиной исследования и доступностью изложения.
Что мы видим:
-
Основная кривая распределения близка к логнормальной, тогда как аномальные красные столбики тяготеют к экспоненциальному распределению.
-
Четкая периодичность появления пиков намекает на цикличность игрового процесса.
Первый пункт — это отдельная большая тема поведения пользователей, которую мы раскроем позже. Пока сосредоточимся на периодичности.
Комментарий
Эта разница в форме распределения крайне показательна. У большинства игр кривая «схлопывается» к логнормальной с характерным «изломом» в районе двухчасовой отметки, однако здесь мы видим иное, что напрямую указывает на внешнее воздействие.
Проанализируем записи геймплея для замера времени между визитами в хаб.
Стрим Jerma Stream Archive: средняя продолжительность забега ~23–29 минут.
Стрим Northernlion: средняя продолжительность забега ~19–28 минут.
Стрим Bruce Greene: средняя продолжительность забега ~29 минут.
С учетом времени на написание отзыва, мы получаем окна в 27–32 минуты. Наши 10-минутные интервалы на графиках идеально «поймали» этот паттерн.
Комментарий
Результаты были перепроверены частотным анализом на различных выборках. Здесь мы привели лишь наглядные примеры для ясности повествования.
Чтобы исключить погрешности, выдвинем гипотезу:
-
Если причина — сессионная структура, то при 5-минутном интервале спайки станут еще более выраженными.
-
При 60-минутном интервале картина «размоется» из-за усреднения данных.
Результаты подтвердили гипотезу: на 5-минутных графиках спайки отчетливы, а на 60-минутных — практически нивелированы.
Финальная проверка: сравнение данных до и после патча с изменением текста NPC.
Визуальный анализ подтверждает: до патча 27% отзывов были «аномальными». После — этот показатель упал до 10% и продолжал плавно снижаться.
Эффективность прямого призыва превзошла все ожидания. Мы наглядно зафиксировали, что даже изменение формулировки дает ощутимый эффект, хотя механизм перехода на страницу сохранился.
Комментарий
Динамика отзывов резко изменилась после патча, что отчетливо видно невооруженным глазом. Метод сравнения до/после, несмотря на методологические допущения, является здесь самым наглядным.
Сравнение динамики Far Far West и Slay the Spire 2 показывает пропасть: в то время как у нормальных проектов доля аномальных отзывов стремится к нулю, у Far Far West она удерживается на высоком уровне даже спустя месяц.
Масштаб влияния
Попробуем оценить реальное количество отзывов без учета аномалий. Используя простую модель вычета «пиков», мы получаем разницу в 4300 отзывов. Однако алгоритмы Steam работают сложнее, учитывая обратную связь, поэтому мы применили регрессионный анализ (R^2=0.86) для прогнозирования естественного роста.
Итог: без использования «агрессивного» NPC, игра получила бы от 17 до 26 тысяч отзывов, что составляет лишь 50–77% от текущего объема.
Комментарий
Для обеспечения точности мы фильтруем выборки, исключая «шумовые» проекты, и валидируем модели на тестовых данных. Детали методологии пока остаются за кадром по соображениям коммерческой тайны нашего проекта.
Заключение
Этот пример — не первый, но один из самых показательных в индустрии:
-
Призыв к действию через NPC генерирует значительный объем «аномальных» отзывов (от 23% до 50%).
-
Текстовая составляющая ответственна за значительную часть этого прироста.
-
Системная проблема заключается не столько в самом факте нарушения, сколько в бездействии платформы и лояльности аудитории к подобным методам «продвижения».
Far Far West — показательный пример того, как проект, имея хороший стартовый потенциал, дополнительно «подкручивает» видимость за счет мягкого нарушения правил, получая одобрение пользователей.
Наша задача — продолжать разработку инструментов для выявления подобных манипуляций. В ближайшем будущем мы представим их широкому кругу разработчиков. Оставайтесь на связи!
С уважением, команда Pneumatix Research.
