Как звучит музыка, созданная с помощью искусственного интеллекта? Матиас Фрей исследовал это и в процессе возродил легендарную рок-группу. Звуки и искусственный интеллект являются частью его повседневной профессиональной жизни, когда он работает главным аналитиком по технологиям в международной компании по производству электроники. Полностью сгенерированные компьютером песни — это все еще мечты о будущем… но для Матиаса Фрея ясно следующее: нет ничего такого, что люди могли бы сделать, чего однажды не смог бы сделать ИИ.

ОЛИВЕР БОСС ПОГОВОРИЛ С МАТТИАСОМ ФРЕЕМ

Некоторое время назад вы реализовали интересный проект: воссоздали уникальное звучание культовой группы The Ramones с помощью искусственного интеллекта… или как бы вы описали то, что вы создали с „THE RAiMONES“?
The Ramones были крутой группой, но, к сожалению, все ее участники ушли из жизни. С THE RaiMONES я хотел вернуть их музыку к жизни с помощью искусственного интеллекта или машинного обучения. В частности, меня интересовали два аспекта: во-первых, реализация — как и с какими данными этот процесс обучения работает оптимально — и, во-вторых, что из этого получается с точки зрения творчества.

И что из этого получилось?
“The RaiMONES был небольшим частным проектом. Я создавал не законченные музыкальные произведения, а звуковые фрагменты. Затем я отправил их другу из Японии, который уже играл с Ramones. Когда он получил сгенерированные ноты для гитары и баса, а также слова, он смог сделать из них песню за несколько часов.

Вы упомянули ситуацию с данными. Без него, конечно, ничего не работает. Что необходимо для такого проекта, как ваш?
Есть два основных способа подойти к этому: либо вы с самого начала учите нейросеть играть такую ​​музыку, как Ramones, либо вы сначала учите ее играть музыку с нуля — т.е. все аккорды и т. д. — и только потом играть как Ramones. В своем проекте я работал непосредственно с базой данных Ramones. Соответственно, все дело несколько ограничено. Я, вероятно, мог бы добиться лучшего результата, если бы сначала обучил сеть с целым музыкальным корпусом, используя трансферное обучение, и только потом с конкретным стилем Ramones. Однако у меня просто не было ни времени, ни вычислительной мощности.

Нет общего ответа на вопрос, сколько данных необходимо для обучения сети таким образом. Это также зависит от сети. Тот, который я использовал, был относительно простым, потому что данные также были ограничены (примечание редактора: 130 песен в формате MIDI и тексты всех их 178 песен).

И о каких данных мы говорим?
В принципе, есть два варианта музыки: либо вы используете миди-данные, то есть ноты, либо используете аудиофайлы. Аудиофайлы с частотой 44 100 выборок в секунду, естественно, содержат гораздо больше данных, но они также намного сложнее. Например, Magenta от Google или Dadabots работают с аудиофайлами, Musenet от OpenAI использует MIDI-данные. Я использовал миди-файлы и использовал их для обучения, а затем писал или вычислял ноты, так сказать, а не тоны. То, что делают дадаботы, например, идет немного дальше: они связывают воедино тысячи аудиозаписей хард-рока и дэт-метала и тренируют на их основе свою сеть, тем самым придумывая совершенно новые тона. Так что в их случае включены тембр, инструменты и так далее. В моем случае это был абстрактный тон, который я вычислил.

Либо вы учите нейросеть с самого начала играть музыку, как Ramones, либо вы сначала учите ее играть музыку с нуля — то есть все аккорды и т. д. — и только потом играть как Ramones.

Вы упомянули Маженту и дадаботов среди прочих. Где мы находимся сегодня в области музыки, созданной ИИ?
Совсем недавно снова состоялся Конкурс песни ИИ, где среди участников были дадаботы и вы могли увидеть различные подходы к тому, что можно сделать с помощью ИИ. В принципе, искусственный интеллект и соответствующие инструменты в основном используются во вспомогательной роли. Я бы скорее говорил о дополненном интеллекте, чем об искусственном интеллекте — другими словами, о взаимодействии между музыкантами и технологиями, с помощью которого они оптимизируют свои творческие процессы. Лично для меня это также самый перспективный подход на будущее.

То есть вы не ожидаете, что ИИ скоро штурмует хит-парад с чисто компьютерными песнями?
Такие подходы есть — например, для компьютерной музыки или частично для музыки для медитации, т.е. повторяющиеся фрагменты. На мой взгляд, до полностью сгенерированной компьютером песни со всем, что с ней связано, нам еще далеко, может быть, это будет возможно лет через 5, но я не хочу делать точных прогнозов. И один вопрос, который обязательно возникнет в связи с этим: хотим ли мы этого?

Будут ли в будущем области, в которых у ИИ не будет шансов против человека-художника?
 Я так не думаю, нет. Я верю, что будет сложно разработать ИИ, который сможет одновременно варить кофе, водить машину и писать музыку. Но искусственный интеллект, специализирующийся в одной области, в будущем сможет сделать гораздо больше, чем сегодня, и я не думаю, что люди могут делать что-то такое, чего не сможет делать ИИ.

А творчество?
Это относится и к творчеству. Это тоже можно смоделировать. Этому я научился в своем проекте «RaiMONES». Генераторы случайных чисел использовались для генерации звуковых фрагментов, которые затем использовались для создания чего-то нового. Хорошим примером является программа AlphaGo Zero, способная делать ходы в настольной игре Го, до которых никто и не додумался. Я ожидаю того же от музыки, что технологические возможности создадут что-то новое, о чем люди и не подумали бы сами.

На наше творчество также влияют внешние факторы. С ИИ вы могли бы думать об этом как о входных данных, так сказать?
Именно. Когда ИИ обучается на бесчисленных данных, он может добраться до мест, куда мы, люди, никогда не доберемся. Теперь мы можем снова взглянуть на это в контексте музыки: когда мы вырастаем здесь, на Западе, на нас оказывает влияние западная музыка, в Индии — индийская музыка — конечно, там уже есть определенные сплавы, но это скорее трудно создать что-то совершенно новое. ИИ же, который изучает музыку во всей ее широте и глубине с нуля, без предпочтений и ограничений, имеет, на мой взгляд, больше возможностей для изобретения чего-то совершенно нового. Вопрос в том, нравится ли нам это? Ведь наши уши тоже определенным образом приучены к той музыке, которую мы знаем.

Я верю, что будет сложно разработать ИИ, который сможет одновременно варить кофе, водить машину и писать музыку. Но искусственный интеллект, специализирующийся в одной области, в будущем сможет сделать гораздо больше, чем сегодня, и я не думаю, что люди могут делать что-то такое, чего не сможет делать ИИ.

Давайте сделаем еще один шаг назад: насколько конкретно ИИ уже поддерживает современных музыкантов?
Существуют различные инструменты, которые используются. Они могут, например, предлагать отсутствующие интермедии в песнях, служить источником вдохновения для музыкантов или генерировать партию ударных для написанной ими песни. Как я уже сказал, они помогают. Но есть и другие инструменты. Все, что касается обработки сигналов, идет в сторону машинного обучения — например, «Разделение источника» для отделения отдельных музыкантов от стереодорожки. Например, если вы хотите отфильтровать только скрипку из трека или вокал для караоке-машин. Сейчас все это уже делается с помощью машинного обучения или на основе обученных данных.

В основном речь идет о написании музыки или о конкретной реализации, то есть об исполнении песен?
И то, и другое. Для моего проекта я мог бы передать данные генератору миди-аудио. Но полностью компьютерная музыка, конечно же, существует; как я уже упоминал, дадаботы таким образом генерируют полные дэт-металлические песни, или есть такие сервисы, как Endel, которые предлагают что-то подобное. Там, например, можно задать свое настроение, и на его основе компьютер сгенерирует подходящий саундтрек. Я нахожу это влияние музыки на эмоции очень интересным. Думаю, в будущем там многое произойдет.

Как так?
Мы сами замечаем, что музыка влияет на наши эмоции. Я слушаю разные произведения, когда хочу сконцентрироваться, и когда хочу поднапрячься, например, во время пробежки. В настоящее время разрабатываются технологии, позволяющие справиться с этим. Например, влияние определенной музыки на нас измеряется с помощью мозговых волн. Это очень интересно, потому что позволяет настроить музыку на человека таким образом, чтобы он или она могли оптимально достичь определенных состояний мозга, например, чтобы наилучшим образом сконцентрироваться. Например, спин-офф ETH «Технологии IDUN» работает над использованием наушников для определения эмоционального состояния пользователя.

Мы сами замечаем, что музыка влияет на наши эмоции. Я слушаю разные произведения, когда хочу сконцентрироваться, и когда хочу поднапрячься, например, во время пробежки. В настоящее время разрабатываются технологии, позволяющие справиться с этим. Например, влияние определенной музыки на нас измеряется с помощью мозговых волн.

Что происходит в Швейцарии в области искусственного интеллекта и музыки? Есть ли музыкальная сцена с искусственным интеллектом или интересные предприятия?
Конкретно, в секторе стартапов в Швейцарии мало что происходит. В Цюрихском университете искусств (ZHdK) есть исследователи, которые изучают искусственный интеллект и творчество или музыку, а также отдел в EPFL. С точки зрения музыки я нахожу Melody Chua очень интересной; она играет, так сказать, на увеличенной флейте. В сфере компаний в Цюрихе есть интересный стартап: Mictic. То, что он делает, я бы назвал аудио дополненной реальности. Вы носите два браслета и, двигая руками, можете издавать всевозможные звуки. Я убежден, что музыка будет двигаться в этом направлении в будущем, так что мы не будем просто потреблять ее, но сможем формировать ее интерактивно.

То есть, среди прочего, речь идет о том, чтобы дать людям, которые мало разбираются в музыке и не умеют читать ноты, возможность создавать что-то самим?
Да, чтобы они были креативными. Например, с продуктом Mictic вы можете почувствовать, каково это играть на виолончели, даже не держа ее в руках. Я нахожу это очень интересным аспектом: использование технологий для упрощения некоторых вещей, а также для продвижения творчества. Вот о чем это все. Он не заменяет ни людей, ни музыкантов.

Итак, это облегчение для музыкантов…
 Ну, аналогия, пожалуй, может быть найдена в фотографии. Раньше для хорошей фотографии требовалось гораздо больше — большие камеры, химикаты и т. д. Сегодня иногда достаточно одного мобильного телефона. Но какие фотографии с мобильного телефона действительно имеют художественную ценность? Думаю, с музыкой будет аналогично. Людям будет легче самим создавать музыку, но смогут ли они приблизиться к Элвису Пресли? Я так не думаю.

Таким образом, музыкальный мир будущего будет проще, интерактивнее и адаптированнее к каждому человеку — и как будет выглядеть наша повседневная музыкальная жизнь в конкретных терминах?
Мне это тоже интересно! (смеется)

***

О МАТТИАСЕ ФРЕЕ
Матиас Фрей был очарован сочетанием технологий и музыки с первых дней своей жизни. Неудивительно, что в юном возрасте он переключился со скрипки на электронную бас-гитару, чтобы иметь возможность возиться с эффектами. Он изучал электротехнику в ETH и получил докторскую степень в области аналоговой электроники и обработки сигналов. Профессионально Фрей работает в электронной компании в области обработки сигналов, искусственного интеллекта и оборудования для искусственного интеллекта и лично активно участвует в текущих разработках в области музыки и технологий.