Пару дней назад The ​​Wall Street Journal опубликовал подробный обзор алгоритмов Spotify, которые он использует для рекомендации песен и плейлистов своим пользователям. В прошлом я писал о горько-сладком опыте работы с музыкой Spotify и ее эволюции на протяжении многих лет.

Spotify был построен на плечах таких гигантов, как Pandora и Last.fm, по собственному рецепту. Как один из ее участников в 2009 году, я могу поручиться за креативность, которую они использовали, чтобы давать рекомендации, которые были намного лучше, чем у конкурентов, переплетенные с их минималистским скандинавским UX. Почти мгновенное время запроса менее 100 мс и используемые алгоритмы машинного обучения — вот что дало ему импульс на довольно насыщенном рынке в то время. Это было основано на очень смелом решении, подобно парню с денежным мячом. Он должен был приобрести аналитическую компанию Echo Nest, которая использовала машинное обучение для рекомендации музыки.

Echo Nest начинался как исследовательский побочный продукт MIT Media Lab для понимания аудио и текстового содержания записанной музыки. Его создатели предполагали, что он будет выполнять идентификацию музыки, рекомендации, создание списков воспроизведения, снятие отпечатков пальцев и анализ для потребителей и разработчиков. Echo Nest была основана в 2005 году на основе диссертационной работы Тристана Джехана и Брайана Уитмена в MIT Media Lab.

Первоначально он использовал метод, называемый совместной фильтрацией, рекомендуя музыку на основе общедоступных и частных списков воспроизведения, евклидово расстояние между двумя песнями и вероятность того, что слушатели захотят больше похожих элементов. Как и ожидалось, люди не самые логичные организаторы, а их перепады настроения и сезонность не годятся для алгоритмов, обученных на этих ошибочных данных. В качестве исправления они добавили дополнительный уровень алгоритма рекомендаций, основанный на метаданных и встраиваниях звуковых характеристик, таких как громкость, бас, темп и, черт возьми, танцевальность.

Пока все хорошо, но тут возникает проблема алгоритмической предвзятости. Вы видите, что алгоритм, обученный на западных музыкальных данных, рекомендует ужасные результаты на восточных рынках. Представьте данные, обученные на песнях Тейлор Свифт, которые рекомендуют песни индийской аудитории. Давайте пока оставим это в неприятных содроганиях. С другой стороны, если на этих рынках недостаточно песен для определенного жанра, у вас есть проблема с холодным стартом вдобавок к страданию от дисбаланса классов (каламбур).

Хотелось бы, чтобы компетенция в области искусственного интеллекта была всем, что нужно компании. В этом году компания закрыла свое приложение Spotify Live после двух лет экспериментов. Ранее в этом году Spotify удалил каталог индийского лейбла Zee Music Company из-за лицензионного спора. Это случалось не раз. Лейбл звукозаписи и авторские права на музыку неумолимы. Ранее он потерял свой шанс быть Youtube, пока он был. Его акции стоят примерно по той же цене, что и в 2018 году. У него 500 миллионов клиентов, которых они не знают, как монетизировать.

Яркий урок о том, как не быть пигмалионом своего дела.

https://www.youtube.com/watch?v=pGntmcy_HX8