Авторы нашей еженедельной статьи предлагают метод создания текстурных карт для трехмерных морфируемых моделей лица из изображений лиц в дикой природе. Они представляют собой расширение блока пространственной трансформаторной сети. Новый блок интерпретирует и нормализует трехмерные позы и самоокклюзию. Вращение, перемещение, параметры модели лица в этом блоке изучаются без учителя при обучении простым геометрическим целям.
В качестве примера мы показываем текстурные карты, создаваемые сетью, когда в нее загружаются изображения Илона Маска.
Аннотация:
«В этой статье мы показываем, как трехмерная трансформируемая модель (то есть статистическая модель трехмерной формы класса объектов, таких как лица) может использоваться для пространственного преобразования входных данных в виде модуля (трехмерной модели -STN) в сверточной нейронной сети. Это расширение исходной сети пространственных преобразователей в том, что мы можем интерпретировать и нормализовать трехмерные изменения позы и самоокклюзии. Обученная локализационная часть сети полезна независимо, поскольку она учится подгонять морфируемую трехмерную модель к одному изображению. Мы показываем, что локализатор можно обучить, используя только простые геометрические функции потерь на относительно небольшом наборе данных, но при этом он способен выполнять надежную нормализацию на сильно неконтролируемых изображениях, включая окклюзию, самоокклюзию и большие изменения позы ».
Вы можете прочитать всю статью здесь: https://arxiv.org/abs/1708.07199
