Введение

Есть бесконечные варианты развлечений. Количество контента, которое вы можете использовать на любом носителе, просто ошеломляет, ведь каждый день создается все больше контента. Со всеми этими вариантами возникает проблема «что выбрать?». Одна из эвристик, используемых потребителями в их поисках отличных впечатлений, - это надежная метакритическая оценка.

Оценки Metacritic - это совокупные оценки критиков. В идеале, усреднение множества баллов увеличивает достоверность результата. В индустрии видеоигр метакритические оценки могут повлиять на аудиторию, подталкивая ее попробовать игры, которые они, возможно, не пробовали раньше. Эти оценки важны как для разработчиков, так и для аудитории, хотя и по разным причинам.

Я решил попробовать создать модель, которая могла бы предсказывать метакритические оценки для неизданных видеоигр. Я использовал набор данных от Kaggle о продажах видеоигр и рейтингах, чтобы создать свою модель и изучить взаимосвязь между особенностями игры и оценкой критиков.

Начальная точка

Модель, которую я хотел создать, позволяла прогнозировать рейтинги еще не вышедших игр. Однако, изучая свои данные, я понял, что не могу добиться этого результата из-за «утечки» данных. Это связано с тем, что информация, собранная в этом наборе данных, была собрана после запуска игры.

Другими словами, у меня были данные, которые не были доступны для новых прогнозов, которые я хотел бы сделать. Мне нужно было больше данных об этапах разработки видеоигр, чтобы сделать идеальную модель. Я потратил некоторое время на изучение методов получения необходимых мне данных, но решил пока не применять эти методы.

Модель, которую я создал, прогнозирует метакритический рейтинг на основе следующих переменных:

  • Платформа выпуска
  • Год выпуска
  • Жанр
  • Игроки в: Северной Америке, Европе, Японии и других странах.
  • Глобальные игроки,
  • Рейтинг ESRB

Некоторые из этих входных переменных, например: количество игроков в Северной Америке, до запуска игры точно неизвестны. Однако, проведя некоторое исследование рынка, вы можете сделать оценки этих входных значений. Следствием выполнения оценки как части исходных данных модели является снижение «достоверности» модели. Я не знаю, как количественно оценить снижение «уверенности» из-за этой исходной оценки. Это область, которую стоит исследовать.

Хочу отметить, что то, что я имею в виду под «достоверностью», не то же самое, что и «точность» модели. Точность - это показатель, используемый для оценки моделей. Он сообщает вам, как часто модель является правильной (для задач классификации). Уверенность связана с вашей уверенностью в результате вашей модели. У вас может быть высокая точность, но вы, возможно, не захотите делать какие-либо ставки или какие-либо существенные ставки на прогнозы, сделанные моделью, если вы «не уверены» в модели.

Исследование данных

Один из моих исследовательских вопросов по этому набору данных был: насколько хорошо совпадают оценки пользователей и оценки критиков? Я создал следующие гистограммы, чтобы показать статистическую разницу между оценками пользователей и оценками критиков.

Обратите внимание, что пользователи в среднем ставят более высокие оценки, чем критики, а критики, кажется, оценивают игры более равномерно по шкале. Две гистограммы созданы с одинаковым количеством наблюдений.

Одним из предубеждений в оценках как пользователей, так и критиков является тот факт, что не все, кто играл в игру (критик или пользователь), ее рецензировали. Некоторые люди просто не делятся своим мнением на публичном форуме, и их мнения не отражаются в этом наборе данных.

Модель

Модель во многом была самой простой частью всего этого проекта. Как только данные были в формате, в котором модели требовали линейной регрессии scikitlearn, а модели случайной регрессии леса взяли на себя всю работу. Я не потратил слишком много времени на настройку гиперпараметров этих моделей, так как ожидаю, что данные резко изменятся по мере того, как я улучшу свои навыки и получу больше данных о видеоиграх в этом наборе данных. Однако даже с ограниченным набором данных регрессионная модель случайного леса намного превосходит базовый уровень.

Помните, что модель была создана на основе «недостающих» данных, поэтому фактические ошибки будут зависеть от точности региональных номеров игроков.

Однако понимание того, почему модель предсказывает определенные значения, по-прежнему важно. На рис. 2 показан пример графика силы Шепли. Графики силы Шепли показывают влияние конкретных переменных на один прогноз модели. Это показывает прогноз для одной игры в наборе данных.

Если вы хотите видеть прогнозы для других игр в наборе данных, вы можете просмотреть мой код и выполнить свое собственное прогнозирование с помощью функции shapley в конце записной книжки.

Вы можете найти мой код здесь: https://github.com/mvkumar14/Video-Game-Ratings-DashApp/tree/master/notebooks

Вывод: ценность этой модели в «реальной жизни»

В конце концов, оценка metacritic - это прокси для информации, которая действительно нужна людям. Информация, которая вам нужна, зависит от того, кем вы являетесь. Разработчики хотят измерить качество своих игр, и они хотят знать, какие области игрового дизайна стоит исследовать. Издатели хотят знать, в какие игры инвестировать и как направить время и ресурсы своих разработчиков. Зрители хотят получить опыт, который им понравится. Оценка метакритики - это число, которое изо всех сил пытается быть точкой общности между этими разными группами. Он ужасно проваливается, но, как и модель, которую я здесь сделал, это лучше, чем ничего. Этот счет может послужить отправной точкой для поиска информации, которая вам действительно нужна.

Как потребитель я часто смотрю на метакритические оценки, а оценки пользователей как на прокси для «ценности». Понимание того, что «ценность» - это на самом деле то, что я ищу, вызывает вопросы: что именно для меня «ценность»? Другим?

Я не всегда уверен, но понимаю, что Data Science может помочь ответить на этот вопрос.