что значит оценка s в играх
Что мы оцениваем, когда оцениваем игры. Мнение
Постоянные читатели 3DNews знают, что у нас есть система оценок (скорее, система ценностей), которая расшифровывает итоговый балл. Но и ей нам бывает трудно руководствоваться. Взять хотя бы описание заветных десяти баллов: «Больше чем игра. Настоящий шедевр. Такой балл выдаётся, только если проект совершил прорыв и претендует на место в одном ряду с Fallout, Command & Conquer и Doom». Славно, вот только проверить игру на соответствие данному критерию мы сможем лишь спустя десять-двадцать лет.
Стоит помнить, что рецензенты — тоже люди (сюрприз!) и у них тоже есть свои вкусы и взгляды на мир. За текстом всегда кроется конкретный автор, а не эфемерный коллективный разум редакции. А два человека, поставившие одинаковую оценку, вполне могли прийти к ней по разным причинам. Возможно, эти причины даже противоречат друг другу. Тогда что же это за мифическое число, подводящее итог под текстом? И имеет ли оно вообще смысл?
Классический спор о предмете оценки (автор неизвестен)
⇡#Объективность где-то рядом
Оксфордский словарь доносит схожую мысль — объективность есть «беспристрастность, отсутствие предвзятости в оценке чего-н., в суждении о чём-н.». Ожегов, к сожалению, не дал определение данного слова, но зато пролил свет на понятие «объективный», ещё более важное в контексте нашего разговора: «Существующий вне нас как объект». Разные словари повторяют его мысль. «Существующий вне сознания и независимо от него», — Малый академический словарь. «Соответствующий объекту, существующий вне нас и независимо от нас», — толковый словарь Ушакова.
Определения из разных источников плюс-минус сходятся в том, что объективность не зависит от восприятия человека. Это незыблемый факт. Объективный взгляд должен быть начисто лишён как мнения, так и оценочного суждения. Любая оценка, данная на основе своего восприятия, противоречит главной характеристике объективности — она (объективность, не оценка) существует вне человека, не может интерпретироваться или восприниматься сквозь призму каких-либо взглядов, идей или вкусов.
Косая, кривая, требовавшая зажать одновременно три кнопки, чтобы подобрать предмет. И для многих, в том числе меня самого, — безоговорочный шедевр на все времена (Gothic)
Может ли в таком случае текст, описывающий некое художественное произведение, быть объективным? Вполне — ведь у объекта найдутся характеристики, для измерения которых существуют приборы достаточной точности. Например, для фильма это хронометраж, количество актеров, реплик, кадров, в которых присутствует тот или иной персонаж, кадров с компьютерной графикой и так далее. Можно даже составить диаграмму цветовой палитры фильма. Сколько от этого будет пользы читателю — вопрос другой, но абсолютно точно это будет максимально объективный рассказ.
У видеоигр тоже есть свои характеристики. Но, очевидно, подобный подход превратит обзор в стерильное перечисление фактов. Их будет крайне непросто оспорить, но какой смысл в подобном тексте? Отличный пример — стебный обзор Джима Стерлинга (Jim Sterling) на Final Fantasy XIII. В нем логично и совершенно неоспоримо отмечаются неопровержимые факты: «Когда вы начинаете игру, начинается игра», «После начала игры вы видите трёхмерную графику», «Ещё в игре есть звук» и так далее.
Объективная информация по скриншоту: вы видите картинку, которая образована пикселями разных цветов (Horizon Zero Dawn)
Надеюсь, вы же понимаете всю иронию претензии «мнение необъективно»? Это же, хе-хе, объективный факт — мнение концептуально субъективно. Как только в формуле появляется «воспринимающий субъект», объективность теряется. Можно пытаться искать «линейку объективности», которую получится приложить к произведению и с точностью до миллиметра озвучить вердикт, но я лично нахожу странным измерять такой гипотетической линейкой и Apex Legends, и Dragon’s Lair, и Planescape: Torment с F1 2020.
⇡#Есть такая профессия — «игрожур»… Или нет?
Напрашивается простой вывод: объективности в оценке или общей меры не существует (или они пока не найдены). Поэтому все, что нам остается, — субъективный взгляд с «доказательной базой» своих слов. Мы не судьи. Если уж идти в юридические аналогии, то рецензенты — это адвокаты и обвинители, порой в одном лице. Иногда обзорщиков называют «игровыми журналистами», что мне кажется ошибочным (мы сейчас о рецензиях, а не об очередном действительно журналистском расследовании Джейсона Шрайера).
Цитата из «Международных принципов профессиональной этики журналиста»: «Первейшая задача журналиста — гарантировать людям получение правдивой и достоверной информации посредством честного отражения объективной реальности. Журналист излагает факты добросовестно, сохраняя их подлинный смысл и не допуская искажений. Он максимально использует свои творческие способности для того, чтобы общественность получила достаточно материала, позволяющего ей сформировать точное и связное представление о мире. Так, чтобы происхождение, природа и сущность событий, течение и положение дел были поняты как можно более объективно».
Рецензента и журналиста объединяют инструменты, но работа чуть ли не противоположна
Журналист не даёт оценки событиям, он — сторонний наблюдатель, максимально точно пересказывающий то, что видит и слышит. Рецензент же, что логично, пишет рецензию. Разные словари дают этому слову плюс-минус одинаковое описание: «Критический анализ и оценка нового художественного или научного произведения».
Особенно удачной мне кажется интерпретация понятия рецензии в «Словаре лингвистических терминов» Жеребило: «Один из видов (жанров) профессионального сочинения-рассуждения с элементами описания и повествования, в котором даются выходные данные книги (статьи и т. д.), раскрывается проблематика произведения, излагается авторская позиция, анализируются авторские выводы, объясняются поставленные автором задачи, обосновывается своевременность или несвоевременность выхода в свет данной книги…». Что довольно точно отражает обсуждаемое занятие. Конечно, качество наших «сочинений-рассуждений» разнится. Прямо как качество художественных произведений. Получается, что рецензия — в определенной степени творческий акт, а не журналистика. Из творчества нельзя изъять автора, ведь тогда теряется смысл.
⇡#Балл за это, балл за то
Будем честными, уважаемые читатели рецензий редко знакомятся с текстом целиком. Повезёт, если пробегут глазами вступление и заключение. Внимание в основном сконцентрировано на оценке. На заре игровой журналистики (термин «журналистика» здесь и далее используется ради удобства) авторы разбирали среднестатистическую игру на отдельные винтики. Интерактивные развлечения были просты по устройству, в отличие от тех же фильмов, и подход был удобен. Чаще всего можно было видеть табличку с четырьмя-пятью характеристиками: игровой процесс, графика, звук, сюжет и итоговый балл. Взять хотя бы таблицу из «Игромании» нулевых — нетленная классика!
Та самая табличка. Аж сердечко защемило
Иногда допускались модификации: одни вводили эфемерные понятия в духе «ценность для жанра» (вот уж объективный критерий, конечно), другие дробили имеющиеся критерии ещё сильнее (звук подразделялся на музыку и прочее звуковое сопровождение, а графика — на техническую продвинутость и художественное исполнение). Некоторые все еще пытались прийти к объективности окольными путями: взять хотя бы японский журнал Famitsu, где итоговый балл складывается из мнений четырёх авторов, что якобы делает обзор объективнее. Хотя наверняка найдётся немало желающих поспорить с «объективными» 39 баллами из 40, присужденными Final Fantasy XIII. Да и за усредненным баллом всегда можно сходить на агрегаторы вроде Metacritic или Opencritic.
Со временем игровые СМИ взяли курс на упрощение и отказ от разделения на составляющие. Дело тут, как мне кажется, в том, что игры становились все более сложным и замысловатым механизмом. Смешивались жанры, механики, подходы. Чем дальше, тем труднее их было разбить на независимые кусочки и отделить одно от другого. Даже если каждый из элементов был далёк от идеального воплощения, это не мешало игре в целом стать отличной (например, так можно сказать про Deus Ex). Отдельная оценка составляющих потеряла смысл. Поэтому и мы в свое время избавились от отдельных баллов в резюмирующей табличке, только формулируя впечатление от разных аспектов проекта.
Слабый шутер, средний стелс, бедная графика, — таковы ингредиенты одной из лучших игр за все время существования индустрии (Deus Ex)
Кстати, о «10 из 10». Неожиданно, но под этим разные люди обычно понимают совсем разное. И это вовсе не значит, что произведение идеально и понравится всем и каждому. Таких просто не существует. Возьмите любую игру, фильм, книгу, картину, да хоть здание, что вы (и пусть даже подавляющее большинство) считаете шедевром, и обязательно найдутся несколько людей, которым не нравится. А уж сами создатели зачастую лучше прочих видят, где могли бы сделать лучше, но не сделали в силу тех или иных причин. «10 из 10» — это произведение, которое по каким-то причинам тронуло рецензента до глубины души, и его текст будет говорить, чем ему оно приглянулось. И чем вам оно может понравиться.
В последние годы можно встретить мысль, что игровая журналистика исказила восприятие оценок. Мол, шкала сузилась — от 6 и до 10. Но мне это видится заблуждением — реальность, как обычно, куда прозаичнее. Дело в том, что игр выходит очень много. Невероятно много. Это давно уже не маленькая песочница для горстки энтузиастов «в теме», а колоссальная машина, обслуживающая значительную массу населения Земли, и ее охват лишь возрастает. Мы любим эту машину, но наша любимая игровая индустрия намного больше возможностей любой отдельно взятой редакции по её освещению. Даже для того, чтобы обозреть самые стоящие новинки — или хотя бы некоторые из них, — приходится напрячься. Вы могли заметить, что на 3DNews выходит два игровых текста в неделю, по выходным, и иногда третий на протяжении недели (но такая роскошь в нашем расписании есть далеко не всегда). Поэтому мы стараемся подбирать потенциально неплохие проекты, интересные нам и, надеемся, некой части наших читателей. И чаще всего угадываем.
Надеюсь, вы не знаете, откуда этот скриншот. В ином случае искренне сочувствую и разделяю вашу боль (Day One: Garry’s Incident)
Но не всегда. Порой случается наткнуться на действительно плохие игры. Из моего опыта в голову приходят сразу Extinction или Those Who Remains (наш редактор игрового раздела Артем Терехов с содроганием вспоминает FlatOut: Chaos & Destruction). Будь моя воля, через полчаса я бы навсегда избавил жёсткий диск от них. Но рецензенту приходится продираться через это до конца (и даже найти в нём несколько позитивных моментов). Как бы вы ни относились к очередной Assassin’s Creed или Mass Effect: Andromeda, поверьте, они гораздо интереснее, продуманнее, красивее, талантливее, увлекательнее и лучше в каждом возможном элементе, нежели какие-нибудь Day One: Garry’s Incident или Unearthed: Trail of Ibn Battuta. Последняя стала редакционным мемом, а один из нас даже завел шутку слишком далеко: прошёл её на 100 % и получил все достижения. Но не будем сейчас об одержимости «ачивками», это тема для отдельного материала.
Бытует мнение, будто в игровой журналистике существует табу на низкие оценки высокобюджетным играм — дескать, надо не прогневить издателя, иначе тот следующую игру не даст. Но, во-первых, мы и сами купим то, что нам интересно. Во-вторых, в перспективе это больнее ударит по самому издателю: если все плохо, новости вида «нам отказались предоставить проект» вкупе с отрицательной рецензией после будут смотреться хуже, чем просто отрицательная рецензия.
В реальности все банальнее — дорогая игра чаще всего как минимум ладно скроена, приятно выглядит и знает, как принести незамысловатое удовольствие. Даже когда не всё в игре удаётся, рецензент всё же должен трезво взглянуть на общий уровень исполнения. Например, наш автор Иван Бышонков искренне не любит последнюю God of War за тот вектор развития, что выбрали создатели для серии, — глубоко субъективный момент, напрямую повлиявший на итоговый балл. Однако Иван все равно в тексте был вынужден признать технические достижения разработчиков и ладно работающую механику — спорить с этим сложно.
Когда даже многомиллионный лоск не сглаживает впечатления (Tom Clancy’s Ghost Recon: Breakpoint)
Впрочем, даже весомый бюджет не гарантирует хотя бы нормальное исполнение. Из недавних ярких примеров — Tom Clancy’s Ghost Recon: Breakpoint. Мифический «страх перед издателем» не помешал большинству СМИ не оставить камня на камне от игры в своих обзорах — казалось бы, при таких деньгах Ubisoft могла сделать нормально работающий шутер, но нет.
Хотя, может, просто чемоданы не доехали? Куда без них. Уж сколько под своими текстами (и подавляющего большинства коллег) я читал обвинений в продажности, и хоть разочек бы чемодан до меня действительно добрался… эх, было бы не так обидно читать эти «разоблачения». Вот что странно: если чемодан, например, выдали редакции, то мне как автору какой резон крутить оценку? И как главному редактору, пересчитывающему баксы, донести до меня нужную «политику партии» таким образом, чтобы я потом не рассказал об этом на весь мир? Сегодня я работаю в этой редакции, завтра нет, а переписка ведь останется — почему бы не сорвать покровы и не получить свою минуту славы, став разоблачителем чемоданщиков! Будь пресловутые чемоданы реальны, таких историй уже должно быть пруд пруди, но пока что-то не видно…
«Дураку понятно, что дело в ваших заграничных поездках! Поставите плохую оценку — не позовут в пресс-туры!». Один нюанс — в редакции много людей, а вероятность того, что в пресс-тур (когда и если они возобновятся) поедет тот же человек, что будет в итоге писать рецензию, крайне мала.
Недавно был интересный случай. Под обзором Serious Sam 4 «срыв покровов» взял новые высоты: оказывается, конкуренты платят за то, чтобы неугодные игры топили в плохих оценках! Ни текст, ни оценка не были сугубо негативными, но такие детали разоблачителям чаще всего не интересны.
«Вы знаете, кто должен получить низкий балл, мистер Фримен»
Ни одно издание, а уж тем более издательство, в жизни не рискнет своей репутацией, чтобы накинуть 1-2 балла проекту. Это не сделает погоды в смысле продаж, а если вскроется, отмыться будет крайне сложно. К сожалению для всех любителей заговоров, высокая оценка означает лишь одно — автору игра действительно понравилась. И он совершенно искренне рассказывает, в чём для него было дело. Далеко не факт, что ваше восприятие тех же вещей будет идентичным.
⇡#Как же тебя оценить?
Сложность в восприятии итогового балла обычно возникает из-за того, что число само по себе ничего не говорит. Без текста невозможно понять, за что оценка. Это очевидно. А вот чуть менее очевидно, что у каждого человека есть своя система ценностей. Поэтому бывают случаи, когда 80% текста игру ругают-ругают, в конце мелькает пара абзацев про «историю, которая никого не оставит равнодушным!» и нестыдные 7/10 в итоге.
Как же так, обругать практически каждый аспект, но в итоге оценить положительно? Да всё просто — тема проекта вызвала настолько сильный отклик у автора, что в конечном счёте это лично для него перевесило большинство недостатков. Ведь игра, как и любое художественное произведение, всегда воспринимается как единое целое, несмотря на все попытки разбить её на составляющие. Очень редко проект равен сумме его составляющих. Это, скорее, сумма тех эмоций, что вы получите за время, проведённое с игрой, позитивных и/или негативных. Конечно, хороший текст в любом случае должен содержать и описание всех недостатков (по мнению автора).
Вроде и понимаю, чем она бесит, но не понимаю, как её можно не любить? (ELEX)
Оценку нужно рассматривать вкупе с текстом, и только так. Хотя бы с общими выводами, чтобы понять, за что она вообще поставлена. Но раз оценка сама по себе не имеет смысла, зачем ее вообще ставить? Хороший вопрос, который мы (и, уверен, многие другие редакции) частенько обсуждаем. Мне кажется, в дальнейшем все больше ресурсов будут упрощать, а то и вовсе упразднять балльную шкалу.
Впрочем, текст в отрыве от финального численного выражения тоже нельзя воспринять однозначно. К примеру, позитивный тон текста обусловлен отточенной механикой, а вам она просто не интересна. Fortnite ведь хорошо работает с точки зрения гейм-дизайна, но не каждому по нраву перспектива вариться в одном котле с ее аудиторией, или визуальная сторона не нравится, или жанр в целом. А может, вам какие-то действия Тима Суини не по душе или его очки не нравятся, и поэтому вы игнорируете все продукты Epic Games. На здоровье, но Fortnite все равно хорошо работает с точки зрения гейм-дизайна, через какие очки на нее ни смотри.
Для большинства Silent Hill — незабываемая трагедия. Но всегда найдётся недовольный управлением, что портит все удовольствие. Оба будут правы
К одному и тому же предмету люди относятся по-разному. Взять такие эфемерные вещи, как «атмосфера». Каждый воспринимает ее индивидуально. Или развитие персонажей. Иногда они плоские, а иногда они совершают не такие поступки, какие хотелось бы игроку. Он расстроится, ведь ждал и надеялся на другое, и чувствует себя обманутым. В то время как другой игрок может понять поступок сценариста и принять историю такой, как ее задумали (никаких намеков на конкретные произведения, конечно же).
Но понравится ли она вам, даже если вы любитель экшена? Не факт. Поэтому важно обратить внимание на сравнения (если они есть в тексте) и хотя бы бегло ознакомиться с последними рецензиями автора, чтобы понять, насколько его вкусы близки к вашим. Даже не столько вкусы, сколько ощущения от игр.
Опыт — это всегда вопрос перспективы, зависящей от нашей ценностной системы координат
Вряд ли на свете существует хоть одна рецензия, с которой согласится каждый ее прочитавший (кроме рецензии Джима Стерлинга на FF XIII, конечно). И это нормально. Более того, это хорошо, что есть разные мнения. Все они одинаково истинны, потому что люди уникальны в своём восприятии мира. Мы всегда рады, когда читатели выражают свою позицию в комментариях. Но есть важное требование — она должна быть уважительной. В противном случае ни о каком диалоге речи не идёт, а все набросы на вентилятор — не более чем пустое сотрясание воздуха. Давайте будем вежливыми друг к другу и любить игры, разные и за разное.
Анализируй это: оценки игр на Metacritic
В этом посте я хотел бы поделиться своим опытом сбора и анализа базы игр сайта Metacritic.com, рассказать о том, что получилось, и что ещё в планах. Надеюсь, что материал найдёт своего читателя, а возможный фидбек укажет слабые места и потенциальные направления для дальнейшего анализа.
Предыстория
Многие из нас весной-летом этого года получили в своё распоряжение несколько свободных часов в день – работа на дому, спад деловой активности и другие причины всем известны. Своё свободное время я решил обратить на пользу – подтянуть R, которым не пользовался с университетских времён, а заодно и попрактиковаться на реальных данных (грош цена сертификатам без реальных проектов).
Почему я выбрал именно эту базу? Потому, что люблю игры. А ещё, потому что в июне случился скандал вокруг игры The Last of Us. Part II, которая получила практически полное признание критиков, и была крайне негативно воспринята частью игрового сообщества.
Мне было интересно найти ответ на несколько вопросов:
Первая попытка. Относительный успех
Искать ответы я решил на metacrtitic.com – это крупный сайт, который агрегирует оценки игровых изданий и даёт возможность оценивать игры (и не только их) пользователям (важное замечание: для того, чтобы поставить оценку игре, совсем не обязательно подтверждать владение ею). Казалось, задача будет простой: «Пропарси метакритик и пощупай базу руками!»
Сказано – сделано. Наверное, для аудитории Хабра это не будет секретом: сегодня для того, чтобы написать работающий (!= хороший) код – вовсе не обязательно быть программистом. По крайней мере, я вполне уверовал в это, решая свою задачу.
Вооружившись гуглом, stackoverflow и тем, что смогу усвоить на DataCamp, я за день собрал базу из
16 тыс. строк, где для каждой записи сохранил название, платформу, пользовательскую оценку, оценку критиков и дату релиза, и тут же построил по ней два графика, которые затем выложил на одну из российских площадок игровой и околоигровой тематики.
Вразумительного анализа за графиками не было – лишь осторожное описание наблюдаемых эффектов. Впрочем, сообщество достаточно тепло приняло визуализацию (а кто-то даже развил идею, и в последствие выкатил нейросеть, генерирующую отзывы на игры), что дало стимул не забрасывать всё на полпути и продолжить копаться в базе.
Вторая попытка. Интересное только начинается
Полагаю, что для аудитории Хабра это не будет секретом: самонадеянность – плохо, а написать работающий (!= хороший) код – задача не из простых, какими бы полезными не были stackoverflow, гугл и гайды «парсить страницы в интернете легко, нужно всего лишь…»
Первые получившиеся графики я опубликовал 24 и 25 июня, и следующую неделю с трудом мог думать о чём-то, кроме сбора большего количества информации.
Однако код, который я написал, вёл себя совершенно ужасно. Он:
Решение первой проблемы может показаться тривиальным любому, кто зарабатывает программированием – но я не отношусь к их числу, поэтому предлагаю просто усмехнуться вместе со мной (откровенно говоря, это был настоящий «Aha!»-момент, хотя сама проблема просто смешная).
История не сохранила код, но у меня остался скриншот – можете оценить под спойлером (осторожно, возможен приступ испанского стыда).
В конечном счёте обе проблемы удалось решить. Код парсера выложен на GitHub. Уверен, что в нём есть ещё много спорных моментов, но теперь он, кажется, работает (что определённо добавляет мне очков к ЧСВ).
Амбулаторная карта пациента или описание базы Metacritic.com
Финальный список страниц с играми, которые необходимо было пропарсить, был составлен первого июля и включал в себя 96 719 записей – ссылок на страницу игры на Metacritic.com (я собирал базу ссылок из алфавитного указателя для каждой доступной платформы, поэтому одна и та же игра может встречаться в базе для каждой отдельной платформы; справедливости ради надо отметить, что оценки в этих случаях также независимы).
Это интересно: на самом деле, пригодных для работы записей в этой базе получилось 96 718. Metacritic хранит в алфавитном списке для PC игру под названием *** (да, это три астериска – и нет, это не цензура), однако ссылка в этом списке ведёт на страницу PC-игр, а не на существующую страницу игры. Добавлять её «руками» не вижу особого смысла – у игры нет ни пользовательской оценки, ни оценки критиков; следовательно, и пользы для анализа нет практически никакой (с учётом размера базы, разумеется).
Из 96 718 оставшихся строк 213 ссылок ведут на страницу 404 или «ругаются» на 500 ошибку сервера – эти страницы пропускаются при сборе и обновлении базы.
Как разделены эти игры по платформам? Давайте посмотрим на топ:
По числу игр PC весьма ожидаемо оказывается на первом месте, а вот затем довольно неожиданно (для меня) следует iOS, обгоняя все консоли нынешнего поколения. Кроме того, даже без отдельной разбивки по годам видно, что число игр увеличивается с каждым следующим поколением.
Посмотрим на количество игр по времени релиза – в разрезе года, полугодия и месяца выхода игры:
В 2019 явно видна просадка по сравнению с 2018 – возможно, база Metacritic ещё будет пополняться, но пока разница довольно заметная. Будет интересно взглянуть на итоги 2020 года.
Кроме ожидаемого увеличения количества игр год к году, видно и то, что второе полугодие пользуется несколько большей популярностью – явно читается стратегия выпуска игр к новогодним праздникам (вернее, выпуска с определённым «лагом» — выход в октябре-ноябре чтобы игра успела собрать прессу и рекомендации). Сказать об успешности такой стратегии на основе данных метакритика нельзя – нужно смотреть на данные продаж, но такое последовательное поведение издателей заставляет верить в её эффективность.
В первом полугодии столь явных пиков нет – всё-таки, рождественские / новогодние праздники – наиболее универсальные торжества в мире, чётко ассоциирующиеся с подарками.
Это интересно: в базе метакритика лишь у 18 игр нет полной даты релиза. 17 из них – игры на PC, ещё одна – на Wii U. Для четырёх из них указан год, ещё у одной статус «TBA 2011», остальные – TBA или TBA – Early Access. Неплохо для такой внушительной базы!
Среди оставшихся 96 505 записей оценки критиков есть у 25 943 (26.9%), оценки пользователей у 29 129 (30.2%) и обе оценки есть у 20 739 (21.5%) игр.
Здесь важно остановиться и осмыслить: лишь около 1/5 игр в базе metacrtitic.com оценена и критиками, и пользователями. Да, это более 20 тысяч строк – и всё же, лишь пятая часть. Важно и то, что это не случайная выборка из базы всех игр на metacritic.com (а сама база metacritic.com, вероятно, не является случайной выборкой для всех видеоигр вообще). У меня есть лишь предположения о том, чем могут отличаться неоценённые игры от игр с оценками (скажем, маркетинговыми бюджетами), но я решил не искать надёжный способ исключит эти искажения и генерализировать выводы с меньшей неслучайной подвыборки на генеральную совокупность. Поэтому, с этого момента речь будет идти лишь об играх, у которых есть обе оценки – как metascore, так и пользовательский рейтинг.
Информация о числе записей, % оценённых игр (серый лейбл с числом между названием платформы и баром – он же изображается цветной заливкой) в графическом представлении.
Мне также было интересно посмотреть на долю эксклюзивов на каждой платформе. Здесь снова в лидерах PC и iOS – PC явно ввиду особенностей платформы (разработчик ничем не обязан платформодержателю – потому что платформодержателя, в смысле, аналогичном консолям, просто нет); а iOS в силу того, что мобильный гейминг – это совершенно отдельный мир, лишь отчасти пересекающийся с геймингом классическим (по крайней мере – в смысле выходящих на платформе тайтлов). Дальше же явно прослеживается, что чем свежее поколение, тем больше на нём мультиплатформенных игр – хотя здесь стоит особняком Nintendo, у которой в портфеле также много портативных приставок, со своим набором эксклюзивных серий. Обратите внимание, что главные консоли уходящего поколения – PS4 и Xbox One замыкают список, показывая практически аналогичный результат – 12% и 11% эксклюзивов соответственно. Но важно сделать поправку на количество изданных на платформе игр – консоль от Sony опережает конкурента от Microsoft по этому показателю – соответственно, и абсолютное число эксклюзивов здесь больше. Но в целом политика сравнима – разве что компания из Редмонда меньше тратит на маркетинговую поддержку игр, доступных только на своей платформе.
Ниже – график распределения оценок (пользовательские оценки приведены к стобалльной шкале) – нельзя сказать, что отличий в оценках нет совсем, но они достаточно близки.
Чтобы сделать однозначный вывод о разнице оценок, сравним средние оценки парным (т.к. сравниваем средние значения двух признаков у одних и тех же объектов) t-тестом. Отдельно отмечу, что приведённые средние взвешены на количество оценок игры. Результат – с учётом размера базы – ожидаемый, отличия значимые:
На этом этапе напрашиваются два вывода:
1.6 балла по стобалльной шкале (что, однако, может быть незначительной разницей для одного из потребителей этих оценок – игрока, пытающегося составить представление об игре перед покупкой).
Что дальше? Пускаемся во все тяжкие.
Во все тяжкие
В первую очередь хочется взглянуть на гистограмму по полной шкале.
На графике видно несколько интересных вещей. Некоторые оценки явно встречаются чаще соседних. Это вполне объяснимо с «круглыми» числами – 40, 50, 70 баллов популярны у пользователей. На графике хорошо видно, что игра с меньшей вероятностью получит оценку в 79 баллов – уж если она дотянула до такого значения, то накинуть лишнюю единичку не жалко ни тем, кто профессионально пишет рецензии, ни тем, кто просто делится своим мнением. Но если натянуть никак не получается, то игра, скорее всего, получит оценку на один пункт ниже – отсюда пики в баллах, заканчивающихся на 8 или 3. Все любят красивые числа!
Далее в программе – гистограммы распределения оценок отдельно для каждого года, начиная с 2001 (откровенно говоря, я руководствовался скорее красотой визуализации, чем какой-либо иной причиной). Здесь мы наблюдаем удивительное путешествие средней пользовательской оценки от заоблачных 83 баллов в 2001 году до ужасающих 47 баллов в 2020 – к последнему мы ещё вернёмся, но пока запомним, что на момент сбора базы прошла ровна половина года, и некоторым играм ещё только предстоит выйти. Оценки критиков на этом фоне выглядят поразительно стабильными, колеблясь от 70 баллов в 2007 до 75 в ещё не закончившемся 2020.
Что насчёт платформ? Здесь уже явно прослеживаются «любимчики» у критиков – это игры, изданные на Nintendo 64 (напомню, однако, что таковых – с оценками из обоих источников – в базе всего 94) и… iOS, как ни странно. Симпатии игроков вновь на стороне ретро – только сравните внушительные 86 баллов в среднем на PlayStation с жалкими 66 для игр на PS4! Схожая динамика видна и в семействе Xbox. Отметим отдельно Nintendo Switch и Xbox 360, в которых наблюдается поразительное согласие между критиками и пользователями.
Возможно, причина более высокой пользовательской оценки старых игр лежит в плоскости психологии – моя гипотеза в том, что люди выставляли им оценки спустя годы, а возможно и десятилетия после релиза, оценивая скорее свои воспоминания об игре и счастливом детстве, чем саму игру. Для того, чтобы подтвердить или опровергнуть эту гипотезу, однако, необходимо получить метаданные для каждого пользовательского обзора – существующей базы для вывода недостаточно.
Давайте вернёмся к анализу по годам.
Здесь мы снова – но более наглядно – можем наблюдать стабильность оценок критиков и постоянное снижение средней пользовательской оценки – вплоть до 47 баллов в 2020 году. Интуитивно кажется, что корреляция между оценками должна снижаться – стоит взглянуть и на график с корреляциями.
Серой линией обозначена общая корреляция для всех наблюдений в базе (включая игры, вышедшие до 2000 года). На первый взгляд, оценки игр, вышедших с середины уходящего десятилетия, все дальше отстоят друг от друга, мнения критиков и игроков расходятся всё сильнее.
Однако, у нас всё ещё есть аномально низкая средняя оценка игроков в 2020 году. И до того, как продолжать, надо разобраться с ней.
Давайте построим диаграмму рассеяния для числа пользовательских обзоров и обзоров критиков. Я осознанно не стал делать шкалу с числом оценок игроков логарифмической – так два экстремальных выброса считываются значительно лучше.
Обратите внимание на две точки с максимальным числом пользовательских обзоров — Warcraft 3: Reforged и та самая The Last of Us: Part 2. У обеих игр низкая средняя пользовательская оценка (в отличие от их менее оцениваемых соседей из топ-10 по числу оцениваний), а само количество оценок выступает коэффициентом при расчёте средней оценки за год – таким образом, они обе сильно занижают среднюю оценку. Ниже приведён упомянутый топ-10 – и так уж вышло, что обе игры вышли в 2020 году.
Обе игры – явные жертвы так называемого «ревью бомбинга» – хотя Warcraft 3: Reforged в принципе довольно большое разочарование для всего сообщества, включая критиков. Но вычищать слишком высокие или слишком низкие оценки, продолжая говорить о связи между оценками игроков и критиков, выглядит неразумно. Что если исключить только эти две игры? Что же, средняя пользовательская оценка в 2020 году заметно вырастет. Однако на коэффициент корреляции влияние окажется практически незаметным – в отличие от средних, при его расчёте не учитывался «вес» игры.
Что, если исключить из анализа все игры со слишком большим числом оценок? И слишком большое – это сколько? Давайте посмотрим на переменную внимательнее:
Один из классических критериев для нахождения выбросов – это порог в полтора межквартильных интервала. В нашем случае – (75-11)*1.5 = 96 (которые необходимо добавить к значению третьего квартиля). Выбросов «снизу» нет – пользовательская оценка выставляется при наличии хотя бы четырёх обзоров, а вот сверху мы избавляемся от 2768 игр, оставляя 17 971 запись.
Мы снова можем наблюдать средние пользовательские оценки ниже 70 баллов после 2011 года и постепенное снижение корреляции с 2017 года – однако стоит отметить, что подобные показатели корреляции встречались и раньше – в изображённом периоде 2000-2020 годов явно выделяются 2005, 2010-2011, 2015-2016 годы. Но снижение никогда не было систематическим – признаки чего заметны на отрезке 2017-2020 годов. Возможны два объяснения: во-первых, вклад ревью бомбинга может быть переоценён; во-вторых, мною могут быть недооценены его масштабы, и необходимо и дальше снижать критерий допустимого максимума пользовательских обзоров; тем не менее, в рамках этого материала я буду придерживаться первой гипотезы, оставив проверку второй в качестве возможной дискуссии.
Помимо всего, что уже было рассмотрено выше, я бы хотел обратить внимание публики непосредственно на разницу оценок – для подсчёта которой, опять же, средняя пользовательская оценка была умножена на 10.
Впервые в этом материале появляется распределение, напоминающее своей формой нормальное (теоретически, исследователю необходимо проверять распределение на нормальность, однако существует оговорка, согласно которой при соблюдении случайности отбора наблюдений и достаточно большой базе отличие распределения от нормального можно игнорировать, пользуясь стандартными статистическими инструментами) – это можно считать локальным успехом! Закрепить успех формальной проверкой, однако, не удастся – проверка нормальности Хи-квадратом Пирсона вернёт нам p-значение заметно ниже 0.05:
Остаётся только смириться, напомнить себе о том, что выводы на основании анализа игр с обеими оценками на Metacritic.com не должны быть обобщены для игр вообще – и с этой мыслью продолжить анализ.
Посмотрим на разницу в оценках в разрезе года выхода игры:
Если первый график с трудом поддаётся интерпретации, то на втором явно видна уже обозначенная ранее тенденция – игроки благосклоннее к «старым» играм – и склонны хуже прессы оценивать игры новые. Интересно, что средняя разница очень близка к нулю в отношении игр, вышедших в 2009-2010 годах – и вы только посмотрите, что за игры выходили десятилетие назад! Стоит, однако, вспомнить, что корреляция между оценками в 2010 году сравнительно низкая – похоже, что реально количество игр с расходящимися оценками в этот год велико, однако вектора расхождений уравновешивают друг друга.
Наконец, посмотрим на платформы – по отдельности и вне зависимости от года релиза игры:
График ниже вы уже могли видеть в начале статьи – однако, в этой его версии представлено большее число игр и добавлена платформа iOS – ей достаётся почётное последнее место по связанности оценок.
Пожалуй, на этом стоит остановиться и переходить к выводам.
Подводим итоги
Мир не отлит в бронзе и не высечен из камня. Что-то в нём меняется.
Очевидно, что меняются сами игры. Меняются и игроки – растёт их число, разнообразие мнений. И если индустрия обзоров старается придерживаться неких – пусть негласных – стандартов, держа планку средней оценки на уровне
7.5 баллов, игроки явно оценивают ситуацию иначе – для игр, вышедших с разницей в 20 лет (в 2000 и в 2020), средняя пользовательская оценка на Metacritic снизилась с 8.5 до 6.9 – серьёзная потеря!
Какие за этим могут стоять причины? Мои гипотезы:
Проверка же второй гипотезы требует огромной работы по переоценке всего массива игр (так как в ней подвергается сомнению объективность критиков, опираться на эту оценку нет возможности). Возможно, хорошим индикатором стало бы отношение сборов к бюджетам игр, однако издатели неохотно делятся такими цифрами – да и эффект маркетинга никто не отменял (можно долго ругать однотипные спортсимы или конвейеры Ubisoft и Activision Blizzard, но эти игры всё равно продаются из года в год достаточно большими тиражами).
Будем наблюдать.