Чтобы получить дополнительные сведения и информацию, вы можете посмотреть видео на YouTube, посвященное рисованию 3D-фото в Google Colab.

URL-адрес видео:https://youtu.be/11malnCaEj4

Обзор

В этом уроке мы будем реализовывать 3D-изображения In-painting в Google Colaboratory с использованием функции графического процессора. В качестве входных данных используется одноцветное RGB-изображение, а 3D-фотография создается в формате MP4. Генерация 3D-фотографии основана на многослойном представлении, а итоговое изображение 3D-фотографии может быть эффективно визуализировано с параллаксом движения с использованием стандартных графических движков.

Давайте подготовим среду и импортируем некоторые библиотеки, необходимые для преобразования фотографии в 3D-изображение.

!pip3 install torch==1.4.0+cu100 torchvision==0.5.0+cu100 -f https://download.pytorch.org/whl/torch_stable.html
!pip3 install opencv-python==4.2.0.32
!pip3 install vispy==0.6.4
!pip3 install moviepy==1.0.2
!pip3 install transforms3d==0.3.1
!pip3 install networkx==2.3
!sudo apt install sed

Затем давайте загрузим скрипты и предварительно обученную модель.

%cd /content/
!git clone https://github.com/vt-vl-lab/3d-photo-inpainting.git
%cd 3d-photo-inpainting
!sh download.sh

Затем отключите отображение за пределами экрана.

!sed -i 's/offscreen_rendering: True/offscreen_rendering: False/g' argument.yml

Затем создайте платформу для загрузки фотографии по вашему выбору. Таким образом, вы можете преобразовать его в 3D-форму.

%cd image
from google.colab import files
uploaded = files.upload()
for fn in uploaded.keys():
  print('User uploaded file "{name}" with length {length} bytes'.format(
      name=fn, length=len(uploaded[fn])))
%cd ..

Приведенный ниже код преобразует вашу фотографию в различные 3D-стили.

!python main.py --config argument.yml

Результаты хранятся в следующих каталогах:

Соответствующая карта глубины, рассчитанная MiDaS

Путь: /content/3d-photo-inpainting/depth/jinmori.npy

Раскрашенная 3D-сетка

Путь: /content/3d-photo-inpainting/mesh/jinmori.ply

Визуализация видео с увеличением в движении

Путь: /content/3d-photo-inpainting/video/jinmori_dolly-zoom-in.mp4

Визуализация видео с круговым движением

Путь:/content/3d-photo-inpainting/video/jinmori_circle.mp4

Рендеринг видео с поворотным движением

Путь:/content/3d-photo-inpainting/video/jinmori_swing.mp4