Это введение в「MoveNet」, модель машинного обучения, которую можно использовать с ailia SDK. Вы можете легко использовать эту модель для создания приложений ИИ с помощью ailia SDK, а также многих других готовых к использованию AIlia MODELS.
Обзор
MoveNet – это модель оценки позы, выпущенная Google 17 мая 2021 года. По сравнению с обычными моделями оценки позы она повышает точность обнаружения в видео с интенсивным движением. Он идеально подходит для живых занятий фитнесом и спортом.
Архитектура
MoveNet может обнаруживать 17 двумерных ключевых точек с высокой скоростью и высокой точностью. Доступны две модели: Lighting и Thunder. Первая может использоваться для приложений, требующих скорости, а вторая — для приложений, требующих точности. И Lightning, и Thunder могут работать со скоростью 30 кадров в секунду или выше на настольных ПК, ноутбуках и смартфонах.
Архитектура аналогична CenterNet. Средство извлечения функций основано на MobileNetV2, к которому была добавлена Feature Pyramid Network (FPN). Установив шаг вывода равным 4, он может обрабатывать вывод карты объектов с высоким разрешением.
Результатом модели ИИ является тепловая карта центра человека, поле регрессии ключевых точек, тепловая карта ключевых точек человека и 2D-поле смещения для каждой ключевой точки.
Модель была обучена с использованием набора данных COCO и другого внутреннего набора данных Google под названием Active. Одним из ограничений набора данных COCO является то, что он не включает данные из суровых условий, где резко меняются позы или присутствует размытость движения, что делает его непригодным для приложений для фитнеса и танцев. Однако внутренний набор данных Google состоит из аннотированных видеороликов о йоге, фитнесе и танцах с YouTube. Из каждого видео берутся только три кадра, чтобы обеспечить разнообразие в наборе данных.
использование
Вы можете использовать MoveNet с ailia SDK в видеопотоке веб-камеры с помощью следующей команды.
$ python3 movenet.py -v 0
И вот результат, который вы можете ожидать.
похожие темы
Топор Инк. разработал ailia SDK, который обеспечивает кросс-платформенный быстрый вывод на основе графического процессора.
ax Inc. предоставляет широкий спектр услуг от консалтинга и создания моделей до разработки приложений и SDK на основе ИИ. Не стесняйтесь связаться с нами для любого запроса.
