Ропот скворцов мечется, извивается, чирикает, поднимается и ускоряется вместе, что издалека выглядит как организм, воюющий сам с собой. И то, и другое вместе, но не синхронно. Косяки рыб почти такие же, и не зря — ослепительные образы сбивают с толку и сбивают с толку хищников, и они помогают сообществам видов процветать. Работая вместе, организмы могут создавать безопасность, выбирать идеальные места для гнездования и многое другое.

Люди также могут демонстрировать некоторые из этих моделей поведения. В ансамблях музыканты следуют и ведут одновременно. Они подстраиваются под темп, громкость и настроение друг друга. И вместе они создают уникальный опыт для слушателей, который уникален каждый раз, когда он исполняется.

То же самое можно сказать и о случаях взаимодействия человека с компьютером — области исследования, которая изучает иногда обыденные, а часто и уникальные события, связанные с людьми и компьютерами. Компьютеры приносят порядок и объемы информации. Люди привносят интуицию, непредсказуемость и творчество. Таким образом, независимо от того, запрашивается ли у Google направление или запрашивается огромное количество данных на суперкомпьютере, взаимодействие между человеком и машиной каждый раз уникальна.

Взаимодействие человека с компьютером отличается от взаимодействия человека с человеком, особенно когда речь идет об абстрактных действиях, таких как музыка. Понимание того, почему эти взаимодействия различны, является предметом исследования Гус Ся. Ся — приглашенный доцент машинного обучения в MBZUAI и доцент компьютерных наук в глобальной сети Нью-Йоркского университета в Шанхае.

Ся занимается музыкой, но, по правде говоря, его творчество гораздо больше. Ся использует свою любовь и признательность за сложность музыки, чтобы изучить, как можно заставить ИИ действовать более естественными человеческими способами, когда он представлен в высококонтекстных действиях, музыка является лишь одним из примеров.

«Музыка очень абстрактна, — сказал Ся. «Вам не нужно очень жестко связывать свои заметки с физическим миром. Речь идет исключительно об использовании вашего воображения, и именно поэтому я думаю, что музыка — идеальный способ изучения творческого интеллекта».

Работа Ся включает в себя анализ и создание музыки с помощью компьютеров, разочаровывающий и часто комичный способ исследовать внутреннюю работу как человеческого, так и компьютерного «разума».

«Машины не воспринимают музыку точно, я бы сказал, что у них есть теневое восприятие», — сказал Ся. «Машина может создать спектрограмму и извлечь из нее высокоуровневые концепции. Напротив, человеческие уши воспринимают музыку в виде чего-то похожего на спектрограмму, но, как люди, мы также воспринимаем многие другие концепции высокого уровня одновременно или почти одновременно».

Машины, по словам Ся, остаются на низком уровне, когда дело доходит до музыкальных концепций. И это, конечно, относится ко многим вещам, которые делают люди и компьютеры. На уровне сигналов у компьютеров слух острее, чем у людей, но, по словам Ся, у них нет «музыкального ума», чтобы извлечь все концепции более высокого уровня, необходимые для создания красивых многослойных музыкальных композиций.

Ся сам является профессиональным музыкантом и новатором в том, как люди могут использовать уникальные возможности компьютеров для более быстрого изучения музыки, а также для сочинения и исполнения музыкальных произведений.

«Я профессиональный исполнитель, но, к счастью, я новичок в композиции», — сказал Ся. И именно этот подход новичка к композиции, который, по его мнению, помог подогреть его интерес к обучению компьютеров тому, как сочинять на высоком уровне мастерства и вкуса.

«Моя мечта — позволить Бетховену развить мой арабский мотив в стиле лунной сонаты, а затем позволить мистеру Майлзу Дэвису интерпретировать его на флейте».

О Гасе Ся

Исследования Ся очень междисциплинарны. Он широко заинтересован в разработке интерактивных интеллектуальных систем для расширения музыкального творчества и самовыражения человека. Это исследование находится на стыке машинного обучения, человеко-компьютерного взаимодействия, робототехники и компьютерной музыки. Некоторые репрезентативные работы включают интерактивную композицию посредством передачи стиля, интерактивные перформансы человека и компьютера, автономных танцующих роботов, крупномасштабный поиск музыки на основе контента, тактильное руководство для обучения игре на флейте и биомузыкальные вычисления с использованием слизевика.

Ся — доцент кафедры компьютерных наук по глобальной сети в Нью-Йоркском университете в Шанхае. Он также имеет связи с Tandon, CILVR в Центре науки о данных и MARL в Steinhardt. Он получил докторскую степень. в отделе машинного обучения в Университете Карнеги-Меллона (CMU) в 2016 году, а с 2016 по 2017 год он был научным сотрудником Neukom в Дартмуте.

Ся также профессионально играет на ди и сяо (китайская флейта и вертикальная флейта). Он играет в качестве солиста в Шанхайском джазовом ансамбле Нью-Йоркского университета, Карпатском ансамбле Питта и Китайском музыкальном институте Пекинского университета.