Искусственный интеллект и машинное обучение - определенно мощные технологии. Тем не менее, термины, связанные с этими вещами, часто бывают абстрактными и запутанными для людей, не обладающих значительными соответствующими базовыми знаниями, а это почти все.
Я начал исследовать музыкальное машинное обучение в Music and AI Lab в Academia Sinica в прошлом году. Несмотря на достигнутый впечатляющий прогресс, исследования были сосредоточены в основном на разработке модели, а не на представлении результатов генерации.
Я обнаружил, что многие мои друзья, художники и музыканты, хотят больше узнать об этих технологиях. Однако сделать первый шаг им по-прежнему очень сложно.
Геймификация для машинного обучения
Я хочу развенчать абстрактную идею использования машинного обучения для создания музыки. Игра - это более интересный и увлекательный способ познакомить людей с новыми технологиями. Я думаю, что геймификация с правильным дизайном может упростить понимание музыкального машинного обучения.
Пока я исследовал, есть ли какие-нибудь предыдущие работы, я нашел проект под названием Семантрис. Он разработан Google AI для демонстрации их алгоритмов обработки естественного языка (NLP).
Это игра с ассоциациями слов, основанная на этой технологии. Когда вы вводите слово или фразу, игра ранжирует все слова на экране, оценивая их в зависимости от того, насколько хорошо они реагируют на то, что вы набираете. - Google AI
Меня воодушевила их потрясающая работа, и я начал разрабатывать свою для музыкальных алгоритмов машинного обучения.
Сортинг = 🎸 песня + 🕵️♂️ сортировка
Некоторые алгоритмы машинного обучения могут научиться воспроизводить данные в наборе данных с использованием более низкого измерения. Используя то же отображение, алгоритм может каким-то образом угадать, на что похожи выборки между двумя существующими данными, что является «интерполяцией». Мой первый проект по использованию геймификации для музыкального машинного обучения - Sornting. Это игра-головоломка, основанная на алгоритме музыкального машинного обучения для интерполяции разных песен. Игрок должен выяснить исходный порядок интерполяции между двумя разными мелодиями, и трудности будут увеличиваться по мере прохождения игры.
Я не пытаюсь обосновать, что результат интерполяции здесь идеален. Пользователь обнаружит этот странный эффект интерполяции, играя в игру и внимательно слушая мелодии. Это поможет пользователю не только разобраться в модели, но и определить слабые места модели.
С другой стороны, игру также можно использовать как инструмент анализа для исследователей. Например, если больше игроков могут найти ответ, это, вероятно, означает, что интерполяция более музыкальна для человека, и наоборот. Кроме того, игра стала вызовом для некоторых музыкантов, которые думают, что у них хорошие навыки слушания.
. исходный код: https://github.com/vibertthio/runn
. демо: https://vibertthio.com/runn/
RUNN = 🏃♂️ Run (игра с боковой прокруткой) + 🤖 RNN
Тем не менее, для большинства людей по-прежнему существует препятствие для получения удовольствия от игры в Sornting. Им нужно немного знать об интерполяции и немного уверенно слушать музыку. Это заставило меня задуматься над вопросом: как заставить всех хотеть слушать музыку, сгенерированную машиной? Когда я разговаривал с одним из моих друзей, Крисом Донахью, он сказал мне, что партитура музыки похожа на экран в игре с боковой прокруткой. Я подумал, что это может быть способом познакомить с новой музыкой людей, умеющих играть в сайд-скролл, а это почти все. Я поделился идеей со своими коллегами из Taiwan AI Labs, и они также дали мне много полезных отзывов.
Второй проект - RUNN. Это «бег» (игра с боковой прокруткой) плюс RNN (рекуррентная нейронная сеть). RNN используются для генерации последовательных данных, таких как язык и музыка. Пользователь может играть со сгенерированным результатом без каких-либо предварительных знаний о музыкальном машинном обучении. Каждый может просто играть в игру и наслаждаться созданной музыкой. Кроме того, они могут поддерживать хорошее настроение (фоновый ритм), управляя своим аватаром или нет. Все уровни генерируются в реальном времени с помощью модели MusicRNN.
. исходный код: https://github.com/vibertthio/runn
. демо: https://vibertthio.com/runn/
Заключение
Оба проекта не ограничиваются определенной моделью машинного обучения. Кроме того, существует множество форм игр, которые потенциально могут быть полезны для той же цели. Я хочу, чтобы каждый мог самовыражаться с помощью музыки. Геймификация идеи - это всего лишь экспериментальный метод приблизиться к видению. Скажите, пожалуйста, есть ли у вас какие-либо мысли о будущем музыкальных технологий и возможностях.
Спасибо за помощь от Music и AI Lab за отличные режимы, Magenta (Google Brain) за потрясающий проект с открытым исходным кодом (magenta-js), друзья из Taiwan AI Labs за блестящие советы.
Обо мне
Vibert Тио
Тио определяет себя как поэтического технолога, занимающегося музыкой, искусством и технологиями. Он стремится «демократизировать музыкальное самовыражение» и разработал широкий спектр проектов для этого, включая музыкальные игры, интерактивные альбомы в Интернете, музыкальные инструменты и художественную реабилитацию.
* Vibertthio.com
* список рассылки
* github
* средний
