Вступление

В нашей предыдущей публикации мы работали над пониманием функций наших камер и того, как эта информация соотносится с нашей целью полной 3D-реконструкции. Благодаря калибровке у нас теперь есть важные цифры, которые описывают характеристики наших камер, которые могут использоваться нашей программой, то есть; матрица камеры и коэффициенты искажения. На основе этой информации мы можем сфотографировать узорчатое изображение с помощью нашей камеры и вычислить, как этот объект расположен в реальном пространстве. Для нашего примера; мы будем использовать изображение шахматной доски и визуализировать взаимное расположение плоских объектов, нарисовав трехмерный куб, выровненный по его ориентации.

Начиная

Цель этого упражнения - нарисовать оси X, Y, Z на нашем изображении, расположенном в нижнем углу шахматной доски. При работе в трехмерном пространстве ось X обычно обозначается синим цветом, ось Y - зеленым, а ось Z - красным. В этом случае мы установим ось Z перпендикулярно объекту с рисунком (ось, которая направлена ​​от 2D-плоскости шахматной доски в сторону камеры).

Давайте начнем с извлечения нашей сохраненной матрицы камеры и коэффициента искажения из прошлого упражнения.

import cv2
import numpy as np
import glob

# Load previously saved data
with np.load('B.npz') as X:
    mtx, dist, _, _ = [X[i] for i in ('mtx','dist','rvecs','tvecs')]

Затем нужно написать функцию, которая будет рисовать трехмерную ось над изображением. Нам нужно будет кормить эту функцию; изображение шахматной доски, 4 угла шахматной доски и 3 точки, которые представляют «конечную точку» наших осевых линий в каждых 3 направлениях.

Углы шахматной доски можно найти с помощью ранее использовавшейся функции cv2.findChessboardCorner (). Он вернет массив с необходимыми позициями 4 углов. В нашем случае нам нужно сосредоточиться только на нижнем левом углу, который является первым элементом массива. См. Ниже (угол [0]). Как только этот угол будет извлечен, мы можем удлинить нашу ось из этой точки, используя 3 конечные точки, которые мы определили ранее.

def draw(img, corners, imgpts):
    corner = tuple(corners[0].ravel())
    img = cv2.line(img, corner, tuple(imgpts[0].ravel()), (255,0,0), 5)
    img = cv2.line(img, corner, tuple(imgpts[1].ravel()), (0,255,0), 5)
    img = cv2.line(img, corner, tuple(imgpts[2].ravel()), (0,0,255), 5)
    return img

Наш следующий шаг - определить точки в трехмерном пространстве, которые будут использоваться для рисования нашей оси. Помните, что в нашем последнем упражнении мы установили одну единицу, равную длине одного квадрата на шахматной доске. В этом примере мы создадим ось, охватывающую 3 единицы, или квадраты шахматной доски, в каждом направлении. Для оси Z мы должны обозначить отрицательное значение, которое будет гарантировать, что нарисованная линия оси будет обращена к камере.

criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
objp = np.zeros((6*7,3), np.float32)
objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)

axis = np.float32([[3,0,0], [0,3,0], [0,0,-3]]).reshape(-1,3)

На этом этапе мы можем использовать нашу функцию рисования. Первый шаг - загрузить изображение и найти сетку 7 x 6. Если он найден, мы можем рассчитать его поворот и перемещение с помощью функции cv2.solvePnPRansac (). Теперь мы проецируем точки оси из точек в трехмерном пространстве на точки на плоскости двухмерного изображения. Когда ось идентифицирована, мы можем использовать функцию рисования, чтобы визуализировать ее ориентацию.

for fname in glob.glob('left*.jpg'):
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    ret, corners = cv2.findChessboardCorners(gray, (7,6),None)

    if ret == True:
        corners2 = cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)

        # Find the rotation and translation vectors.
        rvecs, tvecs, inliers = cv2.solvePnPRansac(objp, corners2, mtx, dist)

        # project 3D points to image plane
        imgpts, jac = cv2.projectPoints(axis, rvecs, tvecs, mtx, dist)

        img = draw(img,corners2,imgpts)
        cv2.imshow('img',img)
        k = cv2.waitKey(0) & 0xff
        if k == 's':
            cv2.imwrite(fname[:6]+'.png', img)

cv2.destroyAllWindows()

Ниже мы можем увидеть нашу программу в действии на 4 различных изображениях шахматной доски.

Визуализировать куб

Чтобы нарисовать куб, мы можем изменить функцию рисования следующим образом. Сначала будет нарисован квадрат 3 x 3, ориентированный в левый нижний угол и параллельный нашей шахматной доске. Затем мы добавим линии, идущие от этого квадрата, чтобы завершить куб в направлении, обращенном к камере.

def draw(img, corners, imgpts):
    imgpts = np.int32(imgpts).reshape(-1,2)

    # draw ground floor in green
    img = cv2.drawContours(img, [imgpts[:4]],-1,(0,255,0),-3)

    # draw pillars in blue color
    for i,j in zip(range(4),range(4,8)):
        img = cv2.line(img, tuple(imgpts[i]), tuple(imgpts[j]),(255),3)

    # draw top layer in red color
    img = cv2.drawContours(img, [imgpts[4:]],-1,(0,0,255),3)

    return img

Точки оси должны быть изменены, чтобы включить каждый угол куба.

axis = np.float32([[0,0,0], [0,3,0], [3,3,0], [3,0,0],
                   [0,0,-3],[0,3,-3],[3,3,-3],[3,0,-3] ])

Результаты показаны на двух изображениях ниже.

Заключение

После выполнения вышеупомянутого упражнения рассмотрим приложения для дополненной реальности. Здесь мы успешно включили трехмерный объект в изображение реального мира, которое взаимодействует с изображаемым объектом, обеспечивая динамическую связь между реальным и виртуальным мирами.

Автор: Кинан Джеймс под руководством профессора Амита Мараджа