Покупать книги, электронику или продукты питания в Интернете можно быстро и удобно. Однако даже более опытные потребители в сфере электронной коммерции могут не решиться покупать одежду в Интернете. Причина проста - виртуальной примерочной нет. Но не волнуйтесь, AI над этим работает.

Достижение точной трехмерной оцифровки человека требует точного моделирования человеческого тела без одежды и большого количества помеченных трехмерных данных об одежде. Недавние успехи в подходах, основанных на глубоком обучении, позволили добиться впечатляющего прогресса в восстановлении формы и позы человека из нескольких или даже одного изображения, улучшения производительности достигаются с помощью огромных объемов помеченных данных обучения.

«Большая часть наших предыдущих исследований заключалась в реконструкции обнаженных тел по одному изображению», - говорит Сяогуан Хан, исследователь из Шэньчжэньского научно-исследовательского института больших данных (SRIBD) и доцент-исследователь Китайского университета Гонконга в Шэньчжэне (CUHK). -Шэньчжэнь). «Реконструкция одежды - очень важная часть дигитализации человека, но по мере того, как моя команда перешла от моделирования человека к моделированию одежды, мы вскоре натолкнулись на первое большое препятствие - нехватку трехмерных наборов данных о предметах одежды».

Команда Хана, состоящая из исследователей из CUHK-Shenzhen, SRIBD, Университета Чжэцзян, Университета Сидянь, Tencent America и Университета науки и технологий Китая, потратила восемь месяцев на создание Deep Fashion3D - самой большой коллекции 3D-моделей одежды на сегодняшний день - с цель создания нового эталона и набора данных для оценки систем реконструкции одежды на основе изображений.

Deep Fashion3D содержит 2078 трехмерных моделей одежды, реконструированных из реальных предметов одежды в 10 различных категориях одежды. Исследователи использовали программное обеспечение для восстановления геометрии на основе изображений, чтобы создать реконструкцию одежды с высоким разрешением из многовидовых изображений в виде плотных облаков точек.

Чтобы облегчить будущие исследования в области 3D-рассуждений о предметах одежды, исследователи предоставляют дополнительные аннотации, специально адаптированные для Deep Fashion3D, включая трехмерные характерные линии, трехмерную позу тела и соответствующие многовидовые реальные изображения. Кроме того, каждая одежда размещается случайным образом, чтобы расширить возможности набора данных для моделирования таких функций, как динамические морщины.

Команда также предложила новый базовый подход, который позволяет вывести реалистичные трехмерные предметы одежды из одного изображения, а также новое представление «адаптируемого шаблона», которое позволяет единой сети изучать все типы одежды. Считается, что это может сделать реконструкцию более выразительной.

Команда сравнила базовую модель, обученную в Deep Fashion3D, с шестью подходами к одноэкранной реконструкции SOTA, в которых используются разные 3D-представления. Результаты эксперимента показывают, что новый подход обеспечивает высочайшую точность реконструкции при однократном восстановлении одежды.

Хан говорит Synced, что даже с новым подходом SOTA точная трехмерная реконструкция одежды по одной фотографии одним щелчком мыши остается проблемой. «Мы просто продвинулись на шаг вперед. Наша команда все еще усердно работает над улучшением результатов, которые мы можем получить, например, текущий метод изо всех сил пытается создать юбку-пузырь с реалистичными геометрическими деталями ».

«Как сгенерировать 3D-данные с использованием алгоритмов глубокого обучения, остается открытым вопросом, а геометрия одежды может быть очень сложной для обработки текущими алгоритмами. Кроме того, мы по-прежнему сталкиваемся с проблемой разрыва между набором данных об одежде и реальной одеждой на открытом воздухе », - говорит Хан.

Исследовательская группа планирует продолжить изучение ограничений алгоритмов на основе текущего набора данных Deep Fashion3D и рассматривает возможность расширения набора данных в будущем, хотя, по их словам, это может занять годы.

Возможности применения таких технологий широки и могут изменить правила игры. Наряду с виртуальными примерочными, Хан видит потенциал этого метода в интеллектуальном редактировании фотографий, играх и имитационной анимации, дополненной реальности и не только.

Статья Deep Fashion3D: набор данных и эталон для трехмерной реконструкции одежды по отдельным изображениям находится на arXiv.

Журналист: Юань Юань | Редактор: Майкл Саразен

Думаете о том, чтобы внести свой вклад в синхронизированную проверку? Новая колонка Поделитесь моими исследованиями от Synced приглашает ученых поделиться своими научными открытиями с глобальными энтузиастами искусственного интеллекта.

Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.

Нужен всесторонний обзор прошлого, настоящего и будущего современных исследований в области искусственного интеллекта? Отчет Тенденции развития технологий искусственного интеллекта вышел!

Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.