Guitar Mix Retrieval — это исследовательский проект моей магистратуры в Йоркском университете. Если вам интересна эта тема, подписывайтесь на меня или оставляйте свои комментарии ниже!

Контур

1. Что такое поиск микса?

2. Похожие исследования

3. Структура модели

4. Возможные области применения

Что такое поиск микса?

Когда дело доходит до производства музыки, электрогитары полагаются не только на усилители. К гитарному сигналу часто применяются различные эффекты. Как те крутые звуки, которые превращают гитару из гладкой и мягкой в ​​раскачивающую и интенсивную. Звук гитары, который вы слышите на альбоме, в основном отличается от необработанного сигнала, исходящего от самой гитары.

Извлечение микса — это метод анализа смешанных сигналов и идентификации всех процессов во время микширования. Поиск гитарного микса заключается в том, чтобы копаться в цепочке сигналов, формирующих тон гитары. Представьте, что вы анализируете педаль плеера, эффекты постобработки и все, что между ними. В частности, предоставление модели AI файла постобработки приведет к выводу исходного сигнала и списка эффектов. Это похоже на преобразование блюда в ингредиенты и рецепты.

Связанные исследования

Как упоминалось выше, смешанный сигнал содержит большое количество информации. Однако извлечение всей этой информации с помощью всего лишь одного алгоритма — крепкий орешек. Связанные исследования разделили поиск микса на три основных направления: распознавание эффектов, извлечение параметров и демикширование.

Распознавание эффектов:

Распознавание эффектов — это определение различных эффектов, используемых в цепи гитарного сигнала. Эффекты обычно подразделяются на эффекты нелинейной обработки, эффекты модуляции и эффекты окружения, а затем разбиваются на конкретные эффекты. В немецком исследовании¹, проведенном в 2010 году, модель машины опорных векторов (SVM) была обучена распознавать и классифицировать 10 различных эффектов с впечатляющей средней точностью 90 %. Аналогичным образом, в исследовании² в Великобритании, проведенном в 2020 году, был изучен анализ 13 педалей овердрайва классической гитары с использованием модели сверточной нейронной сети (CNN), в результате чего была достигнута средняя точность 85 %.

Извлечение параметров:

Извлечение параметров фокусируется на извлечении настроек или параметров эффектов. Эти параметры оказывают существенное влияние на воспроизводимый звук. Как только эффекты распознаны, следующим шагом будет извлечение их конкретных настроек. В немецком исследовательском проекте³, проведенном в 2020 году, модель CNN использовалась для прогнозирования таких параметров, как усиление искажения, частота тремоло и время задержки слэпбэка, с высоким доверительным интервалом 95%.

Разделение:

Демикширование вступает в игру, когда мы хотим восстановить исходный необработанный сигнал из микса. Это позволяет делать ремиксы или проводить дальнейший анализ звучания гитары. Большинство исследований в этой области были сосредоточены на дереверберации и восстановлении искажений. В исследовании, проведенном Sony⁴, модель нейронной сети на основе U-net доказала свою эффективность в преобразовании искаженных гитарных звуков обратно в чистые сухие сигналы. Демонстрационный сайт

Структура модели

Как упоминалось ранее, один алгоритм или модель ИИ не могут полностью обеспечить истинное извлечение микса. Я предлагаю модельную структуру, которая будет проверена путем интеграции вышеуказанного исследования.

Характеристики входного сигнала используются в качестве входных данных для классификатора эффектов и экстрактора параметров. Набор цепочек эффектов по умолчанию используется в качестве эталона для определения ближайшего микса к входному сигналу.

С другой стороны, входной сигнал одновременно подается в демиксатор для восстановления необработанного сигнала. Выходной сигнал проходит через предварительно определенную цепочку эффектов, применяя параметры через классификатор эффектов и экстрактор параметров, а затем возвращается на вход демикшера в качестве эталонного сигнала для модели.

Возможные применения

Настраиваемое автоматическое микширование:

Выходная информация из классификатора эффектов и экстрактора параметров может рассматриваться как стиль микширования. При вводе определенных смешанных сигналов выходные данные модели постепенно усредняются в индивидуальном стиле микширования, определяемом входным набором данных. Этот результат можно использовать в дальнейших алгоритмах автоматического микширования.

Восстановление файла проекта DAW:

Потеря файлов проекта DAW — одна из самых больших забот звукорежиссера. Когда файлы потеряны, очень сложно воссоздать миксы или записанные треки. Извлечение микса может в некоторой степени «спасать» потерянные файлы путем импорта готового микса аудио.

Создание набора данных:

В настоящее время большинство исследований, связанных с музыкальными технологиями, в частности с поиском музыкальной информации (MIR), трудно развивать из-за отсутствия наборов данных. Алгоритмы MIR относительно легко анализируют чистые сухие сигналы. Если бы необработанные сигналы можно было генерировать в больших количествах путем извлечения микса, исследователям не нужно было бы бегать между студией и лабораторией, и они могли бы сосредоточиться на алгоритмах.

Ссылка

1. Штейн М., Абессер Дж., Диттмар К. и Шуллер Г., 2010 г., май. Автоматическое обнаружение звуковых эффектов в гитарных и басовых записях. Конвенция 128 Общества звукоинженеров. Общество звукоинженеров.

2. Comunità, M., Stowell, D. and Reiss, JD, 2020. Распознавание гитарных эффектов и оценка параметров с помощью сверточных нейронных сетей. Препринт arXiv arXiv: 2012.03216.

3. Хинрихс Р., Геркенс К. и Остерманн Дж., 2022 г., апрель. Классификация гитарных эффектов и извлечение настроек их параметров из миксов инструментов с использованием сверточных нейронных сетей. В книге «Искусственный интеллект в музыке, звуке, искусстве и дизайне: 11-я международная конференция EvoMUSART 2022, проводимая в рамках EvoStar 2022, Мадрид, Испания, 20–22 апреля 2022 г., Материалы (стр. 101–116). Чам: Springer International Publishing.

4. Иморт Дж., Фаббро Г., Мартинес-Рамирес М.А., Улич С., Кояма Ю. и Мицуфудзи Ю., 2022 г., февраль. Звуковые эффекты искажения: учимся восстанавливать чистый сигнал. На 23-й конференции Международного общества музыкального информационного поиска (ISMIR).