Итоги дня 061
День 061, мы рассмотрели использование Wekinator для управления драм-машиной с помощью веб-камеры на основе примера видео из Wekinator.
Сегодня мы начнем смотреть на что-то новое, основанное на том, что мы видели раньше.
Работа со временем
Динамическое искажение времени, резюме
В последние пару дней мы наблюдали динамическое искажение времени. Метод, который можно использовать для вычисления сходства между двумя последовательностями данных во времени. Эти две последовательности обычно могут быть двумя жестами, снятыми с помощью мыши, Wiimote, игровой дорожки, видеокамеры и т. д.
Поскольку DTW (динамическое искажение времени) используется для вычисления сходства между временными последовательностями, его можно использовать для классификации жестов. Помните, что для выполнения классификации жестов с помощью DTW (динамическая деформация времени) мы сначала записываем несколько шаблонов жестов, чтобы каждый шаблон был жестом, который может быть распознан системой.
Например, наш первый шаблон представляет собой круг, нарисованный мышью, поэтому шаблон представлен в виде значений x,y мыши при рисовании жеста. Первое записанное значение x,y — это нижняя позиция круга, а последнее записанное значение x,y — это также нижняя позиция после того, как мы нарисовали весь круг. После этого можно записать еще один шаблон, скажем, квадрат, а затем треугольник, который будет служить нашими тремя жестами. В конце обучения наш словарный запас содержит три шаблона жестов. Круг, квадрат и треугольник. В производительности идея состоит в том, чтобы нарисовать определенную форму, которая будет распознана DTW.
Предположим, что мы рисуем треугольник, например, DTW сопоставляет последовательность функций, заданных жестом ввода, треугольником, с последовательностями функций, заданными каждым шаблоном, вычисляя меру подобия между входной последовательностью и шаблоном. Результатом классификации является жест, для которого мера сходства максимальна. Другими словами, расстояние между двумя последовательностями минимально. В примере, который мы видели ранее, шаблон треугольника является третьим. Итак, DTW вернет индекс 3.
DTW — это мощный метод распознавания жестов и сопоставления временных последовательностей в целом, поскольку он учитывает не только текущее значение или положение захваченного жеста, но и прошлые значения. В результате поза жеста руки, например, зависит от всего пути, по которому рука достигла этого конкретного положения.
Если мы представим, что используя DTW в цифровом музыкальном инструменте, мы могли бы представить, что каждому жесту в словаре назначается одна песня. Например, гитарный рифф связан с кругом, базовая линия — с квадратом, а последовательность ударных — с треугольником. Затем при выполнении непрерывного жеста каждый раз, когда жест распознается DTW, воспроизводится соответствующая песня. Например, если мы начнем играть круг, а затем квадрат, будет слышен гитарный рифф, а затем барабанная последовательность.
Связь между выполненным жестом и воспроизведенной песней основывается на срабатывании триггера. Мы можем найти такой метод ограниченным для нашего способа исполнения музыки, и мы можем захотеть иметь систему, которая позволила бы лучше контролировать звук, который не только запускает, но, возможно, мы хотели бы модулировать характеристики синтезированных песен, например, это высота тона, это частотный спектр, амплитуда и так далее. И, конечно же, мы хотели бы модулировать песни во время выполнения жеста.
Другими словами, мы можем захотеть иметь возможность использовать выразительные вариации, которые мы выполняем, когда делаем наш жест, например, замедляемся в какой-то момент, а затем ускоряемся или преувеличиваем амплитуду нашего жеста и так далее. Таким образом, мы можем захотеть иметь возможность использовать выразительные вариации наших жестов в другом, чтобы постоянно контролировать другие параметры синтеза песни. В этом случае нам понадобится не метод, который даст нам, какой жест мы делаем, например, DTW, но и ближайший сосед или наивный байесовский метод, а также то, как мы делаем наши жесты.
В ближайшие дни мы увидим методы, позволяющие фиксировать, как мы выполняем жест, пока мы его выполняем. И, в свою очередь, мы увидим, что такие методы могут обеспечить дополнительный выразительный контроль над песнями или другими цифровыми носителями для исполнения в реальном времени.
Это все, что касается дня 062. Надеюсь, вы нашли это информативным. Спасибо, что нашли время в своем графике и позволили мне быть вашим проводником в этом путешествии. И до следующего раза, будь легендой.
