дискуссия для представления мини-сериала об интеграции музыки и искусственного интеллекта.

print(‘Hello world!’) Меня зовут Аарохи Гупта. Если вы читали другие мои блоги (это открытое приглашение прочитать их, если хотите), вы должны знать, что я люблю музыку и информатику.

Хобби

Следующий раздел касается моих увлечений. Прокрутите вниз, чтобы узнать больше об искусственном интеллекте, в частности.

Музыка. В настоящее время мне нравится сочинять и продюсировать оригинальную музыку в различных жанрах: индийская классика/фолк, западная классика, хип-хоп, RnB, хард-рок, поп (и другие!). Я и вокалист, и инструменталист, и я провожу большую часть своего времени, экспериментируя с новыми формами музыки.
ИИ: хотя меня интересуют несколько других областей компьютерной науки разработка, AR/VR), здесь я сосредоточусь на ИИ, поскольку именно об этом будет мой мини-сериал. Как и большинство людей, я начал узнавать об ИИ исключительно из-за того, насколько популярным было это слово. Термины «глубокое обучение» и «большие данные» так часто писались в газетах, что я, естественно, был заинтригован. Но по мере того, как мои знания об этом предмете увеличивались, я все больше влюблялся в него. Одной из программ, которая помогла увеличить упомянутую любовь, была программа «InspiritAI AI Scholars».

Что представляла собой программа AI Scholars? Что я сделал?

В то время как первая половина курса состояла из изучения того, что такое машинное обучение и какие методы оно использует, во второй половине мы работали над групповыми проектами. Проект, над которым я работал (спасибо Тайлеру Боннену за то, что он был таким замечательным инструктором), заключался в обнаружении человеческих эмоций по изображениям лиц с использованием концепций компьютерного зрения.

Мы использовали модифицированную версию набора данных fer2013, включающую пять меток эмоций. Цель состояла в том, чтобы увидеть разницу между точностью KNN, MLP, CNN и VGG (предварительно обученная CNN для классификации изображений). Я обучил алгоритмы машинного обучения как пикселям, так и ориентирам лица в качестве функций, чтобы увидеть, что даст наилучшие результаты. Разница между CNN и MLP заключалась в том, что CNN извлекали признаки, которые они сами считали важными, в то время как мы передавали либо пиксели, либо ориентиры в качестве признаков MLP. Результат может точно обозначать эмоции на изображениях в этом наборе данных в 70% случаев (читайте этот блог, чтобы узнать больше о проекте).

Какова цель этого мини-сериала?

Как начинающий музыкант и программист, я очарован пересечением ИИ и музыки. Будь то модели искусственного интеллекта, генерирующие барочную музыку (посмотрите потрясающее видео Царыха, делающее именно это), или система глубокого обучения, которая находит области изображения из видео, которые производят звуки, и разделяет эти звуки на набор компонентов, представляющих звук от каждого пикселя. (PixelPlayer от команды MIT CSAIL), меня вдохновляет широкий спектр пересечений в этих областях.

В этой мини-серии я хочу обсудить проект, над которым я сейчас работаю: аккорд-инатор (хорошо, ок, название находится в стадии разработки), который расшифровывает аккорды из аудиофайла.

Я часто ищу аккорды песен, которые меня просят спеть экспромтом. Однако транскрипции аккордов обычно доступны только для популярных песен. Для тех песен, которые не имеют транскрипции, я всегда могу расшифровать их на слух, опираясь на многолетнее формальное обучение, которым я обладаю. Однако для начинающих учеников незнание аккордов также может обескуражить их.

Модель машинного обучения будет обучаться на наборе данных, который содержит звуки гитары и имеет подраздел с аккордами. После очистки базы данных будут файлы .wav мажорных, минорных, уменьшенных и септаккордов каждой тональности. В этой серии будут обсуждаться различные подходы, которые могут решить эту проблему, и будут более подробно рассмотрены некоторые технологии/методы (MFCC, CNN, HMM).

Чего я надеюсь добиться этой серией?

Я надеюсь увеличить количество разговоров об искусственном интеллекте и музыке, а также о том, как эти две области могут быть интегрированы. Я считаю, что две области могут извлечь выгоду друг из друга, чтобы сделать что-то красивое.

Я с нетерпением жду возможности написать больше о своих начинаниях и надеюсь, что вам тоже понравится их читать!

Аарохи Гупта — студенческий посол в программе студенческих послов Inspirit AI. Inspirit AI — это довузовская программа повышения квалификации, которая знакомит любознательных старшеклассников со всего мира с ИИ через живые онлайн-классы. Узнайте больше на https://www.inspiritai.com/.