Недавние разработки в области Neural Radiance Field (NeRF) значительно укрепили область трехмерного зрения за счет поля b, облегчая высокоточную трехмерную реконструкцию лица и новый синтез изображений. Однако традиционные подходы к 3D-манипулированию лицом обычно требуют изнурительных ручных усилий для накопления аннотированных пользователем масок черт лица и управления атрибутами управления для достижения желаемых результатов.

Чтобы решить эту проблему, совместная исследовательская группа из KAIST и Scatter Lab представила новую статью под названием FaceCLIPNeRF: управляемая текстом трехмерная манипуляция лицом с использованием полей деформируемого нейронного излучения. Они представляют FaceCLIPNeRF, инновационный текстовый конвейер, который позволяет выполнять высококачественные манипуляции с лицом с использованием деформируемого NeRF, устраняя необходимость в обширном человеческом вмешательстве.

Команда резюмирует свой основной вклад следующим образом:

  1. Предложение текстового конвейера манипулирования лицом, реконструированным с помощью NeRF.
  2. Разработка сети манипулирования, которая учится представлять сцену с пространственно меняющимися скрытыми кодами.
  3. Насколько нам известно, первыми провели текстовые манипуляции с лицом, реконструированным с помощью NeRF.

Схема этой работы заключается в обучении скрытого кода для каждого обучающего кадра и одной скрытой условной модели NeRF, общей для всех обученных скрытых кодов, для решения задач деформации сцены. И цель состоит в том, чтобы обучить модель, которая может манипулировать лицом, реконструированным с помощью NeRF, управляемым одним целевым текстом, который описывает желаемое выражение лица для манипулирования.

С этой целью команда сначала обучает манипулятор сцены с помощью HyperNeRF, который может управлять деформациями…