Вступление
В нашей предыдущей публикации мы работали над пониманием функций наших камер и того, как эта информация соотносится с нашей целью полной 3D-реконструкции. Благодаря калибровке у нас теперь есть важные цифры, которые описывают характеристики наших камер, которые могут использоваться нашей программой, то есть; матрица камеры и коэффициенты искажения. На основе этой информации мы можем сфотографировать узорчатое изображение с помощью нашей камеры и вычислить, как этот объект расположен в реальном пространстве. Для нашего примера; мы будем использовать изображение шахматной доски и визуализировать взаимное расположение плоских объектов, нарисовав трехмерный куб, выровненный по его ориентации.
Начиная
Цель этого упражнения - нарисовать оси X, Y, Z на нашем изображении, расположенном в нижнем углу шахматной доски. При работе в трехмерном пространстве ось X обычно обозначается синим цветом, ось Y - зеленым, а ось Z - красным. В этом случае мы установим ось Z перпендикулярно объекту с рисунком (ось, которая направлена от 2D-плоскости шахматной доски в сторону камеры).
Давайте начнем с извлечения нашей сохраненной матрицы камеры и коэффициента искажения из прошлого упражнения.
import cv2 import numpy as np import glob # Load previously saved data with np.load('B.npz') as X: mtx, dist, _, _ = [X[i] for i in ('mtx','dist','rvecs','tvecs')]
Затем нужно написать функцию, которая будет рисовать трехмерную ось над изображением. Нам нужно будет кормить эту функцию; изображение шахматной доски, 4 угла шахматной доски и 3 точки, которые представляют «конечную точку» наших осевых линий в каждых 3 направлениях.
Углы шахматной доски можно найти с помощью ранее использовавшейся функции cv2.findChessboardCorner (). Он вернет массив с необходимыми позициями 4 углов. В нашем случае нам нужно сосредоточиться только на нижнем левом углу, который является первым элементом массива. См. Ниже (угол [0]). Как только этот угол будет извлечен, мы можем удлинить нашу ось из этой точки, используя 3 конечные точки, которые мы определили ранее.
def draw(img, corners, imgpts): corner = tuple(corners[0].ravel()) img = cv2.line(img, corner, tuple(imgpts[0].ravel()), (255,0,0), 5) img = cv2.line(img, corner, tuple(imgpts[1].ravel()), (0,255,0), 5) img = cv2.line(img, corner, tuple(imgpts[2].ravel()), (0,0,255), 5) return img
Наш следующий шаг - определить точки в трехмерном пространстве, которые будут использоваться для рисования нашей оси. Помните, что в нашем последнем упражнении мы установили одну единицу, равную длине одного квадрата на шахматной доске. В этом примере мы создадим ось, охватывающую 3 единицы, или квадраты шахматной доски, в каждом направлении. Для оси Z мы должны обозначить отрицательное значение, которое будет гарантировать, что нарисованная линия оси будет обращена к камере.
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) objp = np.zeros((6*7,3), np.float32) objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2) axis = np.float32([[3,0,0], [0,3,0], [0,0,-3]]).reshape(-1,3)
На этом этапе мы можем использовать нашу функцию рисования. Первый шаг - загрузить изображение и найти сетку 7 x 6. Если он найден, мы можем рассчитать его поворот и перемещение с помощью функции cv2.solvePnPRansac (). Теперь мы проецируем точки оси из точек в трехмерном пространстве на точки на плоскости двухмерного изображения. Когда ось идентифицирована, мы можем использовать функцию рисования, чтобы визуализировать ее ориентацию.
for fname in glob.glob('left*.jpg'): img = cv2.imread(fname) gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) ret, corners = cv2.findChessboardCorners(gray, (7,6),None) if ret == True: corners2 = cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria) # Find the rotation and translation vectors. rvecs, tvecs, inliers = cv2.solvePnPRansac(objp, corners2, mtx, dist) # project 3D points to image plane imgpts, jac = cv2.projectPoints(axis, rvecs, tvecs, mtx, dist) img = draw(img,corners2,imgpts) cv2.imshow('img',img) k = cv2.waitKey(0) & 0xff if k == 's': cv2.imwrite(fname[:6]+'.png', img) cv2.destroyAllWindows()
Ниже мы можем увидеть нашу программу в действии на 4 различных изображениях шахматной доски.
Визуализировать куб
Чтобы нарисовать куб, мы можем изменить функцию рисования следующим образом. Сначала будет нарисован квадрат 3 x 3, ориентированный в левый нижний угол и параллельный нашей шахматной доске. Затем мы добавим линии, идущие от этого квадрата, чтобы завершить куб в направлении, обращенном к камере.
def draw(img, corners, imgpts): imgpts = np.int32(imgpts).reshape(-1,2) # draw ground floor in green img = cv2.drawContours(img, [imgpts[:4]],-1,(0,255,0),-3) # draw pillars in blue color for i,j in zip(range(4),range(4,8)): img = cv2.line(img, tuple(imgpts[i]), tuple(imgpts[j]),(255),3) # draw top layer in red color img = cv2.drawContours(img, [imgpts[4:]],-1,(0,0,255),3) return img
Точки оси должны быть изменены, чтобы включить каждый угол куба.
axis = np.float32([[0,0,0], [0,3,0], [3,3,0], [3,0,0], [0,0,-3],[0,3,-3],[3,3,-3],[3,0,-3] ])
Результаты показаны на двух изображениях ниже.
Заключение
После выполнения вышеупомянутого упражнения рассмотрим приложения для дополненной реальности. Здесь мы успешно включили трехмерный объект в изображение реального мира, которое взаимодействует с изображаемым объектом, обеспечивая динамическую связь между реальным и виртуальным мирами.
Автор: Кинан Джеймс под руководством профессора Амита Мараджа