Заглянем в топ-1000 чартов "Оцените вашу музыку" за 40 лет

На момент написания Sonemic, следующая версия приложения "Оцените вашу музыку", находится в пятой бета-версии, и в ней будет представлен новый алгоритм построения диаграмм. Это означает, что агрегированный показатель Рейтинг RYM, используемый в этом посте, не будет соответствовать новой рейтинговой системе Sonemic. Кроме того, данные, использованные в этом сообщении, были собраны к концу 2019 года, поэтому некоторые из конкретных чисел, упомянутых в этом сообщении, могут быть устаревшими 1.

Цель этого поста с помощью функции "Оценить свою музыку": Изменилось ли общее качество музыки с течением времени?

Что такое «Оцените свою музыку»?

Оцените свою музыку - это онлайн-база данных совместных музыкальных релизов, в которой пользователи могут оставлять оценки и отзывы. С момента запуска сайта в 2000 году он собрал около 600 000 пользователей и индексирует 3,7 и 1,2 миллиона релизов и исполнителей соответственно. Для тех, кто интересуется музыкальной критикой, Оцените свою музыку (далее RYM) представляет собой интересную базу данных с широким спектром музыкальных перспектив для любой музыки, которая вам интересна 2. Если вы хотите узнать, как был принят фильм Кендрика Ламара Прокачать бабочку, просмотрите агрегаторы, такие как Metacritic и AnyDecentMusic? может легко дать вам то, что вы ищете. Но если вы наткнетесь на длинный сезон Фишмана во время траления /mu/ и захотите узнать, о чем идет речь, Metacritic и AnyDecentMusic? сделают это. не вернуть результатов. Но не бойтесь, ведь на RYM вы обнаружите, что этот альбом получил более 13 тысяч оценок и более ста отзывов.

Рейтинг RYM и ранжирование в диаграммах

Пользователи RYM могут оценивать альбомы с помощью пятизвездочной рейтинговой системы с шагом в половину звезды. Эти рейтинги используются для определения рейтинга RYM альбома, значения до 5 с шагом в сотые доли. Пользовательским рейтингам присваивается разный вес в зависимости от активности пользователя на сайте, разнообразия оценок, которые они выставляют, а также от того, тратят ли они время на написание отзывов. Используются весовые коэффициенты 0.0, 0.5, 1.0 или 1.25, однако особенности алгоритма взвешивания не являются общедоступными.

У RYM также есть диаграммы для ранжирования альбомов, скажем, за определенный год, десятилетие или за все время. На определение рейтинга альбомов в диаграммах влияют многие факторы, такие как взвешенные рейтинги, описанные выше, общая популярность альбомов и многие другие факторы. Алгоритм ранжирования диаграммы также не разглашается.

Набор данных

Хотя на RYM имеется много данных, к сожалению, RYM не предоставляет API для легкого доступа к нему вне браузера. Уважая политику RYM, запрещающую сканирование веб-страниц, я вручную загрузил и проанализировал HTML, чтобы получить набор данных из 1000 лучших альбомов каждого года с 1979 по 2018 год. Сорок тысяч строк рейтинга альбомов, рейтинга альбомов, исполнителя, жанра, количества оценок , и количество отзывов.

Хотя RYM не раскрывает алгоритм, используемый для создания рейтинга RYM или ранжирования альбомов на сайте, проверка набора данных позволяет лучше понять его механизм. Ниже представлен график изменения рейтинга RYM в зависимости от года выпуска альбома (цвет точки), места альбома в топ-1000 альбомов года выпуска (ось x). , а также количество оценок, полученных альбомом (альфа-балл).

Были выделены три момента, чтобы продемонстрировать некоторые сложности этих данных и их визуализации. Обратите особое внимание на «Рейтинг RYM» и количество оценок, полученных каждым из этих альбомов.

Триллер - Майкл Джексон

Неудивительно, что «Триллер Майкла Джексона» является самым продаваемым альбомом за все время и занимает довольно высокое место на RYM. Второй после The Cure альбом Майкла Джексона 1982 года получил 13 502 оценок и рейтинг RYM 3,90. Учитывая огромное количество оценок этого альбома и низкую дисперсию оценок среди высоко оцененных альбомов, это данные с высокой степенью достоверности.

Крол Лью - Разные исполнители

Krol Lew, польский релиз саундтрека к фильму Король лев 3, занимает в 1994 году рейтинг 866, получив рейтинг RYM 4,65. самый высокий рейтинг RYM в наборе данных, хотя с рейтингом 4 всего 10. Из-за очень низкого количества оценок для этого альбома и его резко выделяющихся оценок это показатель с низким уровнем достоверности. Альбомы, получившие менее 50 оценок, не будут рассматриваться в дальнейшем анализе в этом посте.

Пабло Хани - Radiohead

Согласно RYM, Пабло Хани выглядит белой вороной среди студийных альбомов Radiohead 5 с рейтингом RYM 2,74. Из графика видно, что это самый низкий результат из сорока тысяч альбомов, которые все еще входят в топ-1000 своего года. Это можно объяснить популярностью Radiohead как в целом, так и среди сообщества RYM: альбом получил невероятные 20 534 оценок - это в наборе данных, где среднее количество оценок для каждого альбома составляет всего 186! Справедливый вывод заключается в том, что рейтинг RYM Пабло Хани пользуется большим доверием благодаря количеству отзывов. Хотя его включение в топ-1000 альбомов 1993 года сомнительно и, возможно, указывает на то, что алгоритм ранжирования RYM слишком сильно оценивает популярность чрезвычайно популярных альбомов.

Анализ

Можно ли использовать эти данные, чтобы сделать вывод о том, лучше, чем старая музыка, чем современная? Возможно. Для анализа примите в качестве нулевой гипотезы: Гипотеза статического качества - качество музыки не меняется со временем.

Анализируя данные по десятилетию 6, можно сделать некоторые выводы. Здесь мы описываем общие характеристики этих данных в декадном масштабе.

  • 2009–2018

Начиная с самого последнего десятилетия, падение рейтинга RYM по сравнению с рейтингом следует ожидаемой тенденции. Это падение в основном линейное, за исключением альбомов с самым высоким рейтингом.

  • 1999–2008

В этом десятилетии наблюдается та же тенденция, что и выше, хотя на этот раз средний рейтинг RYM в целом выше, то есть независимо от рейтинга.

  • 1989–1998

Это десятилетие очень похоже на предыдущее, хотя падение рейтинга RYM по отношению к рейтингу кажется более быстрым, чем в предыдущие десятилетия. Кроме того, для более низких рейтингов дисперсия рейтинга RYM больше, а количество рейтингов ниже, чем в предыдущие десятилетия, на что указывает меньшая альфа этих точек.

  • 1979–1988

Наконец, здесь наблюдается резкое падение рейтинга RYM по сравнению с рейтингом. Более того, чем за предыдущее десятилетие, очевидна большая разница в рейтинге RYM и меньшее количество оценок на альбом в конце рейтинга.

Судя по эмпирическому анализу, приведенному выше, каждое десятилетие отображало аналогичный профиль, только с вариациями в величине профиля и скорости спада. Наивно, пусть:

r = mR + b

Где:

  • r: Рейтинг RYM
  • R: Рейтинг по годам
  • m: Падение рейтинга RYM, падение рейтинга RYM на ранг в топ-1000
  • b: RYM Rating Intercept, точка пересечения по оси Y линейной модели

Затем для каждого года примените линейную регрессию, чтобы подогнать профиль к данным 7:

Эта визуализация демонстрирует поведение падения рейтинга RYM и перехвата рейтинга RYM с течением времени. Эти функции выделяют два этапа в истории RYM. Запуск RYM - одно из вероятных объяснений этого фазового сдвига. RYM был представлен в декабре 2000 года, поэтому пусть 1979–2000 гг. Будут эрой до RYM, а 2001–2018 гг. Будут эрой после RYM.

Эра до RYM

Перехватчик рейтинга RYM примерно постоянен в течение эры до RYM, в то время как падение рейтинга RYM уменьшается по величине по направлению к пост- Эпоха RYM. Это указывает на то, что восприятие музыки за это время существенно не изменилось, но по мере того, как годы приближались к запуску RYM, рейтинг топ-1000 стал более конкурентоспособным.

Пост-RYM Эра

За годы, прошедшие с момента запуска RYM, в среднем величина RYM Rating уменьшалась каждый год, однако конкурентоспособность за место в рейтинге топ-1000 оставалась на пике, наблюдавшемся на момент запуска RYM.

Аналитические наблюдения

Этот анализ дает три важных наблюдения относительно качества музыки, выпускаемой с течением времени. Первые два наблюдения либо согласуются с нулевой гипотезой, либо могут быть разумно оправданы. Однако третье наблюдение не согласуется с нулевой гипотезой, и его труднее обосновать.

Наблюдение №1

Профиль рейтинга RYM в сравнении с рейтингом является линейным каждый год. Это согласуется с нулевой гипотезой.

Наблюдение # 2

Рейтинг топ-1000 менее конкурентоспособен для альбомов, выпущенных до RYM, и эта тенденция сильнее проявляется в отношении старых альбомов. Это не согласуется с нулевой гипотезой, однако это наблюдение обоснованно оправдано предположением, что более старые альбомы с меньшей вероятностью будут помнить рецензенты эпохи RYM, и поэтому они с меньшей вероятностью будут ранжироваться в топ-1000, что снижает конкуренцию. Кроме того, старые альбомы могут быть менее доступны на современных потоковых платформах.

Наблюдение №3

В эпоху пост-RYM наблюдалось резкое снижение среднего рейтинга RYM, присваиваемого альбомам, входящим в топ-1000 за каждый год. То есть производительность альбома, выпущенного в эпоху пост-RYM, кажется обратно пропорциональной его возрасту. Это также несовместимо с нулевой гипотезой, однако, в отличие от наблюдения №2, это наблюдение не так легко оправдать.

Подробный взгляд на наблюдение №3

Возраст индексации

Поскольку ни рейтинг RYM, ни рейтинг топ-1000 не являются статичными, наблюдение № 3 поднимает критический вопрос: Каково поведение альбома во время его индексации RYM? Это не то, что легко выявить из этого набора данных, поскольку это моментальный снимок RYM в какой-то момент его истории. Однако возраст каждого альбома, проиндексированного RYM, не совпадает с его возрастом индексации (период времени, в течение которого он был проиндексирован), поскольку альбом может быть проиндексирован только после того, как RYM был запущен. Если предположить, что все альбомы, выпущенные в период до RYM, имеют один и тот же возрастной индекс (тот же возраст, что и RYM), Наблюдение № 3 предполагает, что Рейтинг RYM увеличивается с его индекс-возраст. Поскольку набор данных является моментальным снимком во времени, неизвестно, есть ли ограничение на этот эффект.

Предполагая нулевую гипотезу, было бы желательно исправить этот эффект. Эта идея исследуется в Анализе данных RYM, проведенном Аароном Левином за 2016 год. Левин предположил:

Мы знаем, какие альбомы 60-х и 70-х годов являются классикой, и оцениваем их соответствующим образом. Альбомы, которые были добавлены после того, как RYM вышли в сеть, яростно обсуждаются, и средний рейтинг соответственно снижается. Это будет поддерживаться, если после запуска RYM средний рейтинг снизится.

Левин, А. 2016

Чтобы учесть различия в дисперсии и среднем значении, Левин скорректировал рейтинг RYM эпохи пост-RYM, используя r_c следующим образом:

r_c = (r - mean(r_year)) * std(r_prerym) / std(r_year) + mean(r_prerym)

Проблема с этим методом заключается в том, что полученные в результате исправленные рейтинги RYM очень чувствительны к характеристикам набора данных альбомов до RYM. Чтобы понять это, рассмотрим три разных набора данных до эпохи RYM:

  1. Топ-10 альбомов каждого года до-RYM
  2. Топ-100 альбомов…
  3. Топ-1000 альбомов…

Как показано на Рисунке 5, стандартное отклонение выборки топ-1000 альбомов эпохи до RYM намного больше, чем у топ-10 и топ-100 альбомов. Чтобы продемонстрировать это дальше, на Рисунке 6 сделана попытка оценить соотношение альбомов пост- и до-RYM, занимающих наивысшие n рейтинги 8 за все годы после корректировки альбомов эры RYM, чтобы они имели то же среднее значение и отклонение, что и набор данных top-n эры RYM. Если статическая гипотеза верна, то на рисунке 6 должно быть показано равное представление альбомов каждой эпохи в рейтинге. Более того, если это исправление полезно, исправления, сделанные с использованием каждой выборки данных, должны рассказывать ту же историю.

Этот анализ показывает, насколько ошибочным может быть применение поправочного коэффициента. Плохое среднее значение из топ-1000, кажется, слишком сильно влияет на альбомы эпохи RYM, в то время как соотношение до и эпохи после RYM альбомы в основном номинальные при использовании статистических характеристик наборов данных топ-10 и топ-100.

Измерение влияния возраста индексации

Пытаясь измерить влияние возраста индексации на рейтинг RYM, я снова очистил набор данных, получив второй взгляд на те же данные в другой момент времени - октябрь 2019 г. и сентябрь 2020 г. (примерно с разницей в год). На рис. 7 показаны параметры использованной линейной модели и видно, что в целом по этим параметрам не произошло каких-либо значительных изменений, несмотря на 12-месячную разницу в возрасте индексации 9. Эта временная дельта может быть слишком маленькой, чтобы измерить какое-либо изменение, однако она также может указывать на то, что возраст индексации не является существенным фактором в общей производительности альбома.

Положение гипотез

С этого момента обоснование Наблюдения №3 будет рассматриваться как поддерживающий аргумент в пользу нулевой гипотезы, Гипотезы статического качества, в то время как контроправдания могут рассматриваться как доказательства. в качестве альтернативы - Гипотеза динамического качества.

Гипотеза статического качества

Ниже приведены некоторые возможные оправдания того, почему альбомы в эпоху после RYM, похоже, со временем ухудшаются (Наблюдение №3). Эти оправдания подтверждают нулевую гипотезу:

  1. Пользователи RYM делятся на две категории: вернувшиеся пользователи и недолговечные пользователи. Уважаемый музыкальный критик может быть примером вернувшегося пользователя, а тролль может быть примером недолговечного пользователя. Если вернувшиеся пользователи оставляют в среднем более высокие оценки, чем недолговечные пользователи, это объясняет наблюдение №3, поскольку отзывы пользователя, который стал неактивным, вносят меньший вклад в альбомы RYM Рейтинг.
  2. Если алгоритм RYM для определения альбомов Рейтинг RYM наказывает альбом с большим разбросом оценок, можно ожидать Наблюдение №3, поскольку обычно требуется время для критического консенсуса альбом будет доступен в сообществе RYM.
  3. Если более старые альбомы имеют больше оценок, возможно, алгоритм RYM для определения альбомов RYM Rating наказывает альбомы с меньшим рейтингом независимо от их возраста.

Гипотеза динамического качества

Вместо того, чтобы пытаться оправдать данные, возможно, это просто указывает на то, что действительно качество музыки со временем меняется. Проще говоря, отношение к альбому и, следовательно, его рейтинг RYM в среднем улучшаются со временем. Индексный возраст альбома (как долго он был проиндексирован RYM), в отличие от фактического возраста альбома, может объяснить, почему средняя производительность альбомов в эпоху до RYM примерно постоянна. с течением времени, или могло случиться так, что эти альбомы только когда-либо обсуждались в прошлом времени на RYM, в отличие от новых релизов, которые дополнительно подвергаются критике после их выпуска. Это усугубляется самой природой присвоения единого номера, RYM Rating, каждому альбому, независимо от эпохи его выпуска. Исполнение RYM бэк-каталога артиста или, в более широком смысле, жанра будет использоваться в качестве руководства для пользователей, критикующих новые релизы.

Заключение

Я всегда находил идею присвоения произведению искусства номерами увлекательной. Когда это делается одним субъектом, таким как редактор или влиятельный критик, это число не имеет смысла без дополнительного контекста, касающегося взглядов, тенденций и предубеждений субъекта. С другой стороны, успех краудсорсинговой критики обязан мудрости толпы, согласно которой критическое задание отражает взгляды толпы, а не единого целого. Каким бы жестоким ни было сокращение художественного произведения до числа, оно облегчает подобный анализ, что еще больше меня увлекает.

Из гипотез, представленных в этом анализе, я не считаю, что одного этого набора данных достаточно, чтобы опровергнуть нулевое значение. Несмотря на то, что данные показывают, что старые альбомы «лучше», Гипотеза статического качества предполагает, что они просто воспринимаются более благоприятно, чем современная музыка. После выпуска более старая музыка могла иметь такие же критические характеристики, что и современная музыка. Неясно, в какой степени это восприятие может использоваться в качестве показателя качества, присущего альбому.

Впервые я начал работать над этим проектом в октябре 2019 года из любопытства, пытаясь раскрыть и понять, какие последствия лежат в этом наборе данных, и не был удовлетворен результатом, описанным выше. Однако, когда я завершаю этот проект, я достиг удовлетворения, которого изначально не ожидал - восприятие музыки сейчас, сегодня, - вот что действительно имеет значение. После выхода в 1996 году Long Season Fishmans определенно не пользовался таким культовым обожанием, как сегодня. С этой целью картина, нарисованная RYM, ясна как день: восприятие альбома обычно со временем улучшается.

Если вы хотите поиграть с данными самостоятельно, здесь вы можете найти блокнот jupyter, который анализирует HTML и генерирует графики из этого сообщения в блоге.

Это сообщение из моего блога, которое можно найти здесь.

Сноски

1 Судя по всему, графики обновляются примерно каждый вторник.

2 Серьезно. Вы знали о жанре Bubblegum Bass?

3 На RYM географические релизы обычно объединяются под одним названием, хотя и не всегда.

4 На момент написания фактический рейтинг RYM этого альбома составляет 4,64, что на 0,01 меньше, чем данные были каталогизированы. Это пример взвешивания оценок, выставленных пользователями. В этом случае вес одного или нескольких выставленных пользователем оценок снизился, вероятно, из-за бездействия с учетной записью пользователя.

5 Лично я склонен согласиться с таким исходом.

6 Вам придется смириться с тем фактом, что я определяю, что десятилетие начнется в xxx9 году и закончится в xxx8 году.

7 регресса по всем топ-1000 альбомов за каждый год скрывает небольшой рост рейтинга RYM, который наблюдается у альбомов, попавших в топ-рейтинг каждого года. Однако тенденции регрессии для топ-1000, -100 и -10 идентичны. Используется регрессия через топ-1000, так как это менее шумно.

8 Здесь рейтинг определяется только исправленным баллом и не аналогичен столбцу Рейтинг по годам, который до сих пор использовался в этом посте.

9 Я сделал те же наблюдения, повторяя этот эксперимент, но только с альбомами топ-100 и -10 каждого года, в отличие от топ-1000, как показано на Рисунке 7.