Оценка нескольких поз в настоящее время представляет собой современный подход к глубокому обучению в области компьютерного зрения для обнаружения людей и их суставов на изображении. В этой статье я вкратце расскажу, как можно сделать забавный GIF-файл с качающейся головой, подобный тому, который я создал выше, используя лицо Леброна Джеймса поверх музыкального видео Дрейка Hotline Bling. По сути, есть 4 основных шага:
- Загрузите видео, которое хотите наложить. Я выбрал видео Дрейка Hotline Bling.
2. Загрузите изолированное изображение лица, которое вы хотите наложить поверх видео. Я выбрал лицо Леброна Джеймса. Если у вашего изображения лица неудобно есть фон, используйте некоторые инструменты для редактирования изображений, чтобы обрезать фон до тех пор, пока ваши изображения не будут выглядеть примерно так:
3. На каждом кадре видео обнаруживайте людей и их суставы. Я использовал проект https://github.com/ZheC/Realtime_Multi-Person_Pose_Estimation, который представляет собой реализацию многопозиционной оценки на Python для keras. В частности, нас интересует использование кода для локализации головы человеческого объекта на изображении.
4. Когда у нас есть координаты экрана лица для видеокадра, мы накладываем изолированное вырезанное изображение лица поверх видеокадра в этих самых координатах.
5. Несколько раз повторяйте шаги 3 и 4 для каждого кадра видео. Впоследствии я использовал ffmpeg, чтобы объединить все кадры вместе, чтобы сделать видео без звука. Вам придется проделать еще немного работы, чтобы добавить и синхронизировать звук в исходный видеоклип. Но по большей части вы закончили создание работоспособной демонстрации анимации болвана!
