Поскольку команда Qosmo работает над различными проектами, некоторые из которых сосредоточены на создании музыки, другие - на визуализации данных, многие небольшие идеи и части программного обеспечения часто остаются неиспользованными. Проект серии Unsettled Music - это попытка собрать некоторые из них в одном месте и поделиться ими в Интернете в качестве непрерывного исследовательского процесса. Работы, опубликованные в рамках серии, не предназначены для тщательного изучения их предмета - они больше похожи на снимки идеи со скромными амбициями.
Unsettled Music черпает вдохновение в таких платформах, как Google Arts & Experiments, которые являются прекрасным местом для открытия оригинальных перспектив. В этом проекте мы также надеемся сотрудничать с исследователями, художниками и дизайнерами, не входящими в нашу команду, открыть диалог и дать им основу для опробования своих идей. Как и в галерее, каждая работа может иметь собственное пространство и с определенной свободой исследовать темы, связанные с музыкой и искусственным интеллектом.
Художникам легко потеряться в море возможностей, столкнувшись с чистым холстом. Медиа-арт в этом отношении еще жестче, поскольку снимает любые материальные ограничения. Решение работать в пределах времени и технических ограничений - хороший способ решить эту проблему и оставаться сосредоточенным в течение более длительного периода времени.
Аспект нерешенности в названии имеет здесь два значения.
Первое относится к неопределенному характеру музыки, которую мы представляем - как это часто бывает в генеративном искусстве, эксперименты больше касаются разработки метода, чем самого результата. Этот результат не фиксирован, он меняется со временем, каждая итерация не менее значима, чем предыдущая, и поэтому никогда не останавливается на одном месте.
Второе значение состоит в том, что результаты часто нечетные по дизайну. Изучение окраин методов искусственного интеллекта часто приводит к необычным результатам, и эта странность является для нас богатым источником любопытства.
Два первых эксперимента
Первая работа, которую мы разделили, - это исследование циклических движений и непрерывности. Используя модель генерации ритмических паттернов, коллекции постепенно развивающихся лупов воспроизводятся одна за другой: сам звуковой движок состоит только из звуков, синтезируемых в реальном времени. Петли также визуально записываются непрерывно, используя уравнение узлов для построения их кривых.
Второй идет в другом направлении. Вместо создания паттернов ударных, этот эксперимент вращается вокруг текстуры и шума, и он развивается как непрерывная волна окружающих частот. В качестве базового элемента для звука мы использовали модель генерации ударных для синтеза сэмплов низкого качества, на грани того, что можно было бы считать хорошим. Эти образцы имеют более абстрактный характер: когда мы воспроизводим их с использованием методов гранулярного синтеза, они перекрываются и смешиваются вместе, образуя темную волну потрескивающего грохота.
Визуальные эффекты напрямую вдохновлены печатной графикой и типографикой от дизайнера Ханса-Рудольфа Лутца или художника Карла Андре. Здесь буквы разбиты на части и превращены в текстурированную поверхность, которая реагирует на звук.
Работая над будущими экспериментами, мы постараемся исследовать аспекты машинного обучения в разных направлениях. Некоторые из этих тем на самом деле могут едва касаться ИИ, но призваны поставить под сомнение некоторые второстепенные аспекты технологии и программного обеспечения и дать им аудиовизуальную транскрипцию.
Использование Интернета как платформы для экспериментов
В последние несколько лет веб-браузер стал предпочтительной платформой для медиа-арта: он не только предоставляет ряд функций, которые упрощают доступ к современным технологиям, но и по своей природе делает даже самые ранние прототипы доступными для всех. попробовать онлайн.
Первая техническая составляющая этого проекта - движок визуального рендеринга. Веб-браузеры уже много лет поддерживают аппаратное ускорение графики, при этом WebGL, Three.js - самая известная библиотека, построенная на его основе, и та, которую мы используем в этом проекте.
Второй компонент - это аудиофреймворк. И здесь, помимо хорошо укомплектованного API веб-аудио, библиотеки, такие как Tone.js, позволяют разработчикам создавать звуковые исполнения, используя естественные музыкальные подходы.
Другие библиотеки, такие как Essentia. также используйте WebAssembly для реализации расширенных алгоритмов анализа с большой эффективностью.
Последний и самый сложный компонент - машинное обучение. С помощью аппаратного ускорения и, в частности, библиотеки TensorFlow.js, Javascript стал вполне жизнеспособным вариантом для разработки систем искусственного интеллекта в реальном времени, полностью работающих в браузере.
Однако некоторые проблемы совместимости и производительности остаются: Возможно, на большинстве современных устройств запустить модель не всегда быстро на каждой машине, что затрудняет надежное ожидание времени событий. Размер задействованных моделей также часто бывает проблематичным. Несколько мегабайт может быть немного на жестком диске, но плохое подключение к Интернету может привести к загрузке нескольких минут.
По этой причине эксперименты этого проекта на основе машинного обучения обязательно будут оптимизированы, при этом некоторые данные будут предварительно сгенерированы, чтобы они оставались доступными для большинства посетителей. Работа с Javascript на самом деле позволяет беспрепятственно работать в автономном режиме как часть среды Node.js - и, таким образом, удобно хранить все в одном месте.
Пока мы работаем над новыми экспериментами, загляните на сайт Unsettled Music и поделитесь с нами своими мыслями!
Спасибо, что дочитали до конца. Мы Qosmo, Inc. коллектив художников, дизайнеров, инженеров и исследователей. Прочтите другие статьи о Medium от Qosmo Lab, и если вы так заинтригованы, чтобы узнать больше, свяжитесь с нами здесь. Мы активно ищем новых членов, сотрудников и клиентов, которые стремятся раздвинуть границы искусственного интеллекта и творчества. Чао!
