Так ли важен Metacritic: почему числовые оценки постепенно уходят в прошлое

Пришло время оценивать игры с помощью эмодзи.

Сайт Glixel разобрался в том, насколько на самом деле влиятелен Metacritic, известнейший агрегатор рецензий, в условиях постоянно меняющейся игровой индустрии.

DTF публикует перевод материала.

Марк Дойл (Mark Doyle) собирался отдохнуть на выходных в Санта-Барбаре с парочкой старых университетских друзей, когда узнал, что критику из Washington Post не понравилась игра Uncharted 4: A Thief’s End. Критик посчитал, что графика была кричащей, геймплей — «вымученным», а игра в целом произвела впечатление «незавершённого месива». Дойл сразу же понял, что никуда он не поедет. Отзыв критика точно повлияет на оценку игры на Metacritic.

Дойл — сооснователь и главный редактор агрегатора рецензий Metacritic, принадлежащего CBS Interactive, при этом он лично курирует игровой раздел сайта. Марк отбирает игровые издания, отслеживаемые Metacritic, сопоставляет их рецензии, трансформирует их оценки в показатели по шкале от 0 до 100, после чего на их основе вычисляет единую оценку Metacritic для каждой игры.

The Washington Post в своих рецензиях не ставит числовые оценки. Но издание считает Metacritic настолько важным, что его авторы передают свои оценки напрямую Дойлу (другие крупные издания вроде The New York Times делают так же). Критик из The Washington Post присудил последней части Uncharted 40 баллов.

Судя по Metacritic, 111 различных изданий позитивно оценили Uncharted 4. Общий балл проекта на сайте был 94 из 100, лучшего результата не показала ни одна игра за 2016 год. Но одной негативной рецензии от The Washington Post хватило, чтобы опустить оценку с 94 из 100 до 93.

В целом, один балл это не так уж много. Но фанаты игры пришли в ярость, даже те, кто ни разу не играл в Uncharted 4. Дело в том, что эта игра — эксклюзив для PlayStation 4. А многие из тех, кто выбрали сторону Sony в непрекращающейся войне консолей, расценивают успех флагманской игры как победу своей команды, шанс ткнуть этим в лицо своим друзьям, выбравшим вражеский Xbox One. Для них Uncharted 4, потерявшая один балл, это все равно, что любимая команда по американскому футболу, опустившаяся в рейтинге плей-офф.

Дойл все выходные наблюдал за возмущениями с телефона и рассылал электронные письма, упуская шанс повидаться с друзьями. Он знал, что аудитория отреагирует эмоционально — игровой раздел Metacritic генерирует куда больше трафика, чем разделы про кино, сериалы или музыку. Но жалобы приходили не только от некоторых обозленных, но единичных пользователей сети. На Change.Org появилась петиция с требованием убрать оценку рецензента The Washington Post из общего балла Uncharted 4. Её подписало почти десять тысяч человек.

Дойл сразу дал понять, что балл Metacritic не изменится.

Вся эта шумиха хорошо иллюстрирует тот факт, что оценки на Metacritic важны для большого количества людей. И не только фанатов — зачастую разработчики получают от издателей премии за высокий балл игры на Metacritic, и те же самые издатели вкладывают много сил и времени в попытки предсказать итоговую оценку, поскольку она может повлиять на всё, от покупок в рознице до количества возвратов.

Но игровая индустрия меняется, как и сами игры. Срез реакции критиков на момент выхода игры во многом не отражает всю суть. Важен ли Metacritic в этих новых условиях?

Балл на миллион долларов

Metacritic был создан в 1999 году тремя одногруппниками из Университета Южной Каролины. Джейсон Дейтц (Jason Deitz) подал идею, а Марк Дойл с сестрой Джулией Дойл Робертс (Julie Doyle Roberts) помогли ему создать сайт, отобрать издания и разработать систему оценки. Миссия их проекта была проста.

Если критик не включает в свою рецензию числовую оценку, сотрудник Metacritic попытается ее угадать, основываясь на тоне и содержании материала, а также на информации о предпочтениях рецензента. Для фильмов и музыкальных альбомов такой метод, в целом, подходит, хотя иногда и даёт сбой.

Такие прикидки работали с фильмами и музыкой, но оценки игр сотрудники Metacritic формируют иначе. Обычно рецензии на игры содержат числовую оценку, в том или ином виде. Судя по всему, геймеров интересуют точные данные.

И это можно понять. Игра это одновременно и произведение искусства, и программа. Вам не нужно скачивать патч, чтобы получить доступ к последней версии мастеринга диска с музыкой. Не нужно искать руководство того, как пройти сложную часть середины фильма, вы не потеряете весь свой прогресс просмотра сериала из-за плохо прописанной системы сохранений.

Часто бывает, что человек покупает игру за 60 долларов, чтобы поиграть в неё пару часов и забросить, потому что она неинтересная или попросту неиграбельная. Поэтому логично, что рецензенты стараются осторожно оценить общие впечатления, которые можно получить от проекта.

Помимо сведения сотен мнений критиков к единой оценке, Metacritic пользуется системой цветовых маркировок. Зелёным помечаются игры с оценкой 75 или больше. Жёлтым — те, что с баллом от 50 до 74. А красным всё, что оценили ниже 50. (Цветовые оценки для фильмов и сериалов отличаются: их помечают зелёным, если они получают 60 или более баллов, а если больше 40, то жёлтым.) Сайт, который позволяет быстро оценить мнение критиков, безусловно, полезен. Но на Metacritic всё чаще смотрят как на абсолютное мерило качества. И не только геймеры.

Аналитики игровой индустрии обычно указывают оценки на Metacritic в своих финансовых отчётах, а кое-кто даже считает, что они могут повлиять на курсы акций компаний вроде Activision и Take Two. А ведь ещё есть премии, которые издатели выплачивают разработчикам.

Крис Авеллон из Obsidian Entertainment заявлял, что его команда не получила премию (по слухам, миллион долларов) за Fallout: New Vegas, игру 2010 года, потому что она не достигла определенного уровня оценок на Metacritic. По его словам, им не хватило всего одного балла.

Секрет Metacritic

Дойл не считает, что принадлежит к игровой индустрии, хоть и постоянно следит за тем, что в ней происходит.

Некоторые из них сложно назвать известными.

Если взглянуть на 62 рецензии на ПК-версию Overwatch, собранные на Metacritic, можно заметить, что там много известных общеигровых изданий, хотя некоторые пишут только о ПК. Но ещё там есть греческий сайт Ragequit.gr, шведская версия IGN, Eurogamer Poland, чешский журнал Level и российский «Навигатор игрового мира».

Дойл не считает, что у американских изданий или изданий на английском языке есть монополия на умные рецензии. Каждый год, во время затишья после праздничных релизов, он ищет новые издания, которые можно было бы включить в систему оценок. По его словам, он досконально изучает тех, кто хочет, чтобы их мнение учитывалось на Metacritic: Дойл расспрашивает их о системе работы, опыте редакторов, составе штата, статистике рецензий, шкале и философии оценок. Он просит перевести их рецензии с других языков и консультируется с собственной сетью международных критиков, чтобы они оценили репутацию каждого издания.

Объективность и репутация — секретные ингредиенты формулы Metacritic, запатентованной системы, которая не дает ресурсу скатиться до оценок, выставленных по принципу среднего арифметического. Помимо отбора изданий, Дойл с коллегами определяет, какое из них более достойно доверия: 70 баллов от особо доверенного источника влияют на общую оценку сильнее, чем те же 70 баллов от другого. Компания с радостью рассказывает обо всех аспектах своей системы оценок, кроме этого.

Дойл преуменьшает то, как придание разного веса оценкам влияет на общий балл. Он отмечает, что баллы на Metacritic и родственном ему сайте Game Rankings зачастую очень похожи, хотя на последнем оценки выставляются на основе среднего арифметического оценок из рецензий изданий на английском языке. «Это особенно верно, когда речь идет о крупных играх — на них пишут больше рецензий, поэтому среднее арифметическое вычисляется на основе большего количества оценок», — уточняет он.

И всё же издателей оценки Metacritic очень волнуют. Они отчаянно пытаются определить, какие издания сильнее всего влияют на оценки агрегатора. По слухам, кое-кому даже удалось разобраться в том, как работает система.

Он говорит в прошедшем времени из-за того, что в конце 2014 года редакция Eurogamer решила отказаться от оценок. При этом Eurogamer Poland, Eurogamer Spain и Eurogamer Italy, редакции которых действуют автономно, всё ещё появляются на Metacritic.

По словам Уэлша, от оценок они отказались отчасти именно из-за того, какое влияние те оказывали на общие баллы игр на Metacritic.

Другие издания тоже постепенно отказываются от оценок.

Обманчивый консенсус

По словам Уэлша, преувеличенное влияние Metacritic было лишь одним из многих факторов.

Другая функция Metacritic, помимо агрегации рецензий — показать какое-то единое мнение прессы на момент выхода игры, когда игрокам нужно принять решение о покупке. Но некоторые крупные игровые компании больше не рассылают коды для рецензентов заранее. Поскольку на прохождение игр нужно потратить какое-то время, обзоры появляются через несколько дней или даже недель после релиза.

Также, поскольку в играх всё большее место занимают онлайн-элементы, оценивать игры до релиза становится всё сложнее.

По словам Уэлша, он обсуждал отказ Eurogamer от оценок с Дойлом, и тот попытался оставить издание в системе Metacritic.

Ютуберы

Возможно, само значение рецензий на игры тоже уменьшается, ведь во многих изданиях они стали более субъективными и эссеистичными. Уэлш вспоминает, как работал в известном британском игровом издании Edge. Журнал был настолько влиятельным, что оценка 10/10 в конце рецензии могла вызвать фурор во всей индустрии. «Как бы мне ни нравилось быть причастным к этой традиции в Edge, я всё-таки предпочитаю критиков с собственными симпатиями и антипатиями. Обычные текстовые рецензии, возможно, уже не являются таким же влиятельными, как раньше, но это совсем не обязательно ведёт к негативным последствиям».

К тому же зачастую законодателями моды в игровом мире становятся стримеры, которые выдают свои критические комментарии поверх видеоряда с прохождением игры. Metacritic сложно включать такие обзоры в свою систему оценки, равно как и соревноваться с ними.

Внутренние рецензии

Хотя важность традиционных рецензий на игры, возможно, идёт на спад, они всё еще влияют на индустрию на фундаментальном — и зачастую невидимом — уровне. Большинство крупных издателей буквально обозревают собственные игры. Пока новая игра еще разрабатывается, они нанимают консультантов со стороны, чтобы те посмотрели на неё и прикинули, какие оценки она могла бы получить в её текущем состоянии. При этом многие из таких консультантов раньше сами писали рецензии.

Некоторые источники, решившие остаться анонимными, сообщили мне, что для индустрии это обычная практика. Многие AAA-игры обозреваются несколько раз за цикл разработки — консультанты оценивают их на разных стадиях готовности. Один источник рассказал о том, что иногда компания может отменить игру, в которую уже вложены десятки миллионов долларов, если консультанты посчитают, что её плохо оценят. Так издателям не приходится тратиться на маркетинг и доставку до магазинов.

Войны фанатов

Но если значение оценок угасает, почему же критики всё еще способны вызвать бурю среди фанатов, как в том случае с низкой оценкой Uncharted 4? Дойл сам не знает.

Пожалуй, в том, насколько серьёзно игроки относятся к обзорам, нет ничего удивительного. Игры и оборудование для них — вещи недешёвые. Каждому, кто покупал машину или какой-нибудь другой дорогой предмет, знаком этот небольшой выброс дофамина, который происходит, когда твой выбор оказывается правильным, а приверженность бренду — вознаграждённой. Но из-за жизни, проведенной в сравнении продуктов, игроки эмоционально связаны с оценками, рейтингами и иерархиями достижений.

Отслеживание оценок на Metacritic само по себе для многих стало игрой, и не только в смысле составления бесконечных списков из лучших игр всех времён. Для многих игроков Metacritic стал своего рода мета-игрой, наложенной поверх обычных игровых впечатлений. Это что-то вроде выдуманной футбольной лиги, где можно болеть за близкие тебе команды и против команд, выбранных твоими друзьями.

Такое отношение к Metacritic просматривается в пользовательских рецензиях, которые демонстрируются рядом с рецензиями критиков, но не влияют на общую оценку на агрегаторе. Фанаты стараются поднять средние пользовательские оценки игр, которые им нравятся, и уничтожают оценки игр-конкурентов.

Дойл всецело за то, чтобы люди менее серьёзно относились к рецензиям и к его сайту. Он считает Metacritic способом информирования потребителей, но приходит в недоумение от самой идеи того, что люди могут руководствоваться им при каждой покупке.