- Переплетенный график и сеть внимания для трехмерной оценки позы человека (arXiv)
Автор: Ти Ван, Хун Лю, Жунвэй Дин, Вэньхао Ли, Инсюань Ю, Ся Ли.
Аннотация: Несмотря на значительный прогресс в трехмерной оценке позы человека по изображению с одного вида, предыдущие работы редко исследуют глобальные и локальные корреляции, что приводит к недостаточному изучению представлений человеческого скелета. Чтобы решить эту проблему, мы предлагаем новую сеть Interweaved Graph and Attention Network (IGANet), которая обеспечивает двунаправленную связь между сверточными сетями графов (GCN) и вниманием. В частности, мы представляем модуль IGA, в котором предупреждения получают локальную информацию из GCN, а GCN вводят глобальную информацию из предупреждений. Кроме того, мы разрабатываем простой, но эффективный U-образный многослойный персептрон (uMLP), который может собирать многогранную информацию о суставах тела. Обширные эксперименты с двумя популярными эталонными наборами данных (т. е. Human3.6M и MPI-INF-3DHP) проводятся для оценки предложенного нами метода. Результаты показывают, что IGANet достигает самой современной производительности на обоих наборах данных. Код доступен по адресу https://github.com/xiu-cs/IGANet.
2. Надежная трехмерная оценка позы человека при окклюзии с помощью StridedPoseGraphFormer и увеличения данных (arXiv)
Автор: Субарна Баник, Патриция Гшосманн, Алехандро Мендоса Гарсия, Алоис Нолл.
Аннотация: Окклюзия является вездесущей проблемой при трехмерной оценке позы человека (HPE). Несмотря на большое количество исследований, посвященных 3D HPE, только ограниченное число исследований явно посвящено проблеме окклюзии. Чтобы восполнить этот пробел, мы предлагаем сочетать использование пространственно-временных особенностей с синтетическим усилением окклюзии во время обучения работе с окклюзией. С этой целью мы строим пространственно-временную 3D-модель HPE StridedPoseGraphFormer на основе свертки графа и преобразователей и обучаем ее с помощью аугментации окклюзии. В отличие от существующих методов, учитывающих окклюзию, которые тестируются только для ограниченной окклюзии, мы тщательно оцениваем наш метод для различных степеней окклюзии. Мы показываем, что предлагаемый нами метод выгодно отличается от современного (SoA). Наши экспериментальные результаты также показывают, что в отсутствие какого-либо механизма обработки окклюзии производительность методов SoA 3D HPE значительно ухудшается, когда они сталкиваются с окклюзией.
