- Нейронные объемы: изучение динамических визуализируемых объемов из изображений (arXiv)
Автор: Стивен Ломбарди, Томас Саймон, Джейсон Сарагих, Габриэль Шварц, Андреас Лерманн, Ясер Шейх.
Аннотация: Моделирование и рендеринг динамических сцен является сложной задачей, поскольку естественные сцены часто содержат сложные явления, такие как тонкие структуры, развивающаяся топология, полупрозрачность, рассеяние, окклюзия и биологическое движение. В этих случаях реконструкция и отслеживание на основе сетки часто терпят неудачу, а другие подходы (например, видео со световым полем) обычно основаны на ограниченных условиях просмотра, которые ограничивают интерактивность. Мы обходим эти трудности, представляя основанный на обучении подход к представлению динамических объектов, вдохновленный моделью интегральной проекции, используемой в томографических изображениях. Подход контролируется непосредственно с 2D-изображений в режиме захвата нескольких изображений и не требует явного восстановления или отслеживания объекта. Наш метод состоит из двух основных компонентов: сети кодер-декодер, которая преобразует входные изображения в трехмерное объемное представление, и дифференцируемой операции трассировки лучей, которая обеспечивает сквозное обучение. Благодаря трехмерному представлению наша конструкция лучше экстраполирует на новые точки зрения по сравнению с методами рендеринга в пространстве экрана. Архитектура кодер-декодер изучает скрытое представление динамической сцены, что позволяет нам создавать новые последовательности контента, не видимые во время обучения. Чтобы преодолеть ограничения памяти для представлений на основе вокселей, мы изучаем динамическую нерегулярную структуру сетки, реализованную с полем деформации во время марширования лучей. Эта структура значительно улучшает видимое разрешение и уменьшает сеткоподобные артефакты и зубчатое движение. Наконец, мы демонстрируем, как включить представления на основе поверхности в нашу структуру объемного обучения для приложений, где требуется самое высокое разрешение, используя захват изображения лица в качестве примера.
2.AutoInt: автоматическая интеграция для быстрого нейрообъемного рендеринга (arXiv)
Автор: Дэвид Б. Линделл, Жюльен Н. П. Мартель, Гордон Ветцштейн.
Аннотация: Численное интегрирование является основополагающим методом научных вычислений и лежит в основе многих приложений компьютерного зрения. Среди этих приложений нейрообъемный рендеринг недавно был предложен в качестве новой парадигмы для синтеза представлений, обеспечивающей фотореалистичное качество изображения. Однако фундаментальным препятствием для практического применения этих методов являются экстремальные требования к вычислениям и памяти, вызванные необходимыми объемными интегрированиями вдоль визуализированных лучей во время обучения и логического вывода. Миллионы лучей, каждый из которых требует сотни прямых проходов через нейронную сеть, необходимы для аппроксимации этих интегрирований с помощью выборки Монте-Карло. Здесь мы предлагаем автоматическую интеграцию, новую основу для изучения эффективных решений интегралов в замкнутой форме с использованием нейронных сетей на основе координат. Для обучения мы создаем вычислительный граф, соответствующий производной сети. График приспособлен к сигналу для интегрирования. После оптимизации мы собираем граф, чтобы получить сеть, представляющую первообразную. Согласно основной теореме исчисления это позволяет вычислить любой определенный интеграл в двух оценках сети. Применяя этот подход к нейронному рендерингу, мы улучшаем компромисс между скоростью рендеринга и качеством изображения: улучшаем время рендеринга более чем в 10 раз при компромиссе в виде небольшого снижения качества изображения.
