Профессор Хуан Белло и компания используют машинное обучение для описания стилей пения

До того, как была изобретена письменность, разные культуры использовали музыку для общения друг с другом. Изучение того, как эти культуры обменивались музыкальными стилями, является важной областью исследований в области сравнительного музыковедения, и ее ученые все больше полагаются на науку о данных и методы машинного обучения, чтобы помочь ответить на свои исследовательские вопросы.

Например, в На пути к характеристике певческих стилей в мировой музыке аффилированный с Центром преподаватель и профессор музыкальных технологий Нью-Йоркского университета Стейнхардт Хуан Пабло Белло, доктор Саймон Диксон из Университета королевы Марии (Великобритания) и их Докторанты Рэйчел Биттнер и Мария Пантели использовали возможности машинного обучения, чтобы исследовать сходства и различия между стилями пения в народной и традиционной музыке по всему миру.

Для этого исследования Белло и его команда решили сосредоточиться на одном музыкальном элементе: высоте голоса, которая состоит из более мелких маркеров, таких как вибрато (изменение высоты тона), мелизма (пение одного слога в диапазоне нот) и медленное или быстрое слоговое пение. . Они начали с обучения классификатора случайного леса (популярный алгоритм машинного обучения) для определения контуров высоты тона певческого голоса в различных аудиозаписях и отделения их от контуров без голоса. Хотя они использовали 62 трека из MedleyDB, содержащие ведущие вокалы, в качестве обучающего набора, команда также работала с большим набором данных из 2808 аудиоклипов из коллекции Smithsonian Folkways Recordings, которая содержит музыку из 50 разных стран и 28 разных языков.

Затем они создали словарь дескрипторов стиля пения. После создания словаря они могли классифицировать аудиоклипы и использовать неконтролируемую кластеризацию k-средних, чтобы определить, какие клипы были наиболее похожи с точки зрения высоты голоса. Их исследование показало, что большинство кластеров представляют собой записи из соседних стран или схожих культур или языков. Например, кластер семь содержал музыку преимущественно европейских культур, а кластеры два и пять содержали музыку африканских и карибских культур. В будущем команда надеется, с некоторой помощью экспертов по музыковедению, более подробно оценить кластеры стилей пения.

Черри Квок

Первоначально опубликовано на сайте cds.nyu.edu 7 апреля 2017 г.