В новой статье группа исследователей из Чжэцзянского университета, Китайского университета Гонконга и Корнельского университета предлагает метод неявного нейронного представления под названием «Нейронное тело». Новый подход обеспечивает динамический трехмерный синтез человеческого тела из разреженного набора изображений с камеры, значительно улучшая существующие методы по ключевым показателям.

Как правило, для 3D-реконструкции требуется либо большое количество камер для охвата всех углов, либо использование датчиков глубины, что делает процесс сложным, дорогостоящим и ограниченным в определенных условиях. Исследователи подходят к новой проблеме синтеза изображений с помощью разреженного многоракурсного видео (не более четырех ракурсов камеры), которое захватывает движущееся человеческое тело. Поскольку эти углы камеры остаются постоянными, существующие методы, основанные на реконструкции, имеют тенденцию создавать нежелательные тяжелые артефакты рендеринга из-за окклюзии частей тела в различных временных состояниях. Между тем методы синтеза представлений, такие как Google NeRF (Neural Radiance Fields), которые используют неявные нейронные представления, также демонстрируют снижение производительности, когда входные представления редки.

Чтобы устранить эти недостатки, Neural Body генерирует неявные трехмерные представления человеческого тела в разных видеокадрах из одного и того же набора скрытых кодов, привязанных к вершинам деформируемой сетки. Для каждого кадра модель преобразует кодовые местоположения на основе позы человека, в то время как сеть регрессирует плотность и цвет для любого трехмерного местоположения на основе структурированных скрытых кодов. Это позволяет синтезировать изображения с любой точки обзора посредством объемного рендеринга.

Чтобы оценить свой подход, исследователи создали набор данных с несколькими представлениями из 9 динамических видеороликов с участием людей, снятых с помощью системы с 21 синхронизированной камерой. Для обучения были выбраны четыре равномерно распределенные камеры, остальные зарезервированы для тестирования. Как по метрикам пикового отношения сигнал-шум (PSNR), так и по индексу структурного подобия (SSIM), использованным для оценки синтеза нового вида, предложенная модель, обученная на всех кадрах, достигла наилучшей производительности, превзойдя как NeRF, так и Neural Volume (NV) с запасом не менее 6,45 по показателю PSNR и 0,119 по показателю SSIM.

Исследователи также проверили способность своей модели к 3D-реконструкции в сравнении с подходом, основанным на обучении, PIFuHD (неявная функция с выравниванием по пикселям для оцифровки 3D-объектов с высоким разрешением). Результаты показывают, что Neural Body генерирует точную геометрию для людей в сложных движениях, в то время как PIFuHD не может восстановить правильные формы человека в сложных позах.

Исследователи также сравнили возможности предлагаемого метода синтеза и реконструкции монокулярных видео с методом People-Snapshot, где Neural Body достигла более точного внешнего вида и геометрических деталей, особенно у субъектов, одетых в свободную одежду.

Статья Нейронное тело: неявные нейронные представления со структурированными латентными кодами для синтеза новых взглядов динамических людей находится на arXiv. Код и датасет скоро будут доступны на проекте GitHub.

Аналитик: Рейна Ци Ван | Редактор: Майкл Саразен; Юань Юань

Синхронизированный отчет | Обзор китайских решений искусственного интеллекта в ответ на пандемию COVID-19 — 87 тематических исследований от более чем 700 поставщиков ИИ

В этом отчете предлагается взглянуть на то, как Китай использует технологии искусственного интеллекта в борьбе с COVID-19. Он также доступен на Amazon Kindle. Вместе с этим отчетом мы также представили базу данных, охватывающую дополнительные 1428 решений искусственного интеллекта для 12 сценариев пандемии.

Нажмите здесь, чтобы найти больше отчетов от нас.

Мы знаем, что вы не хотите пропустить ни одной новости или научного открытия. Подпишитесь на нашу популярную рассылку Synced Global AI Weekly, чтобы получать еженедельные обновления AI.