Вычислить нормали поверхности из изображения глубины, используя векторное произведение соседних пикселей

На самом деле вам не нужно использовать перекрестное произведение для этого, но см. ниже.

Учтите, что ваше изображение диапазона является функцией z (x, y).

Нормаль к поверхности находится в направлении (-dz/dx,-dz/dy,1). (Где под dz/dx я подразумеваю дифференциал: скорость изменения z с x). А затем нормали условно нормируются к единице длины.

Между прочим, если вам интересно, откуда взялось это (-dz/dx, -dz/dy,1)... если вы возьмете 2 ортогональных касательных вектора в плоскости, параллельной осям x и y, это (1 ,0,dzdx) и (0,1,dzdy). Нормаль перпендикулярна касательным, поэтому должно быть (1,0,dzdx)X(0,1,dzdy) — где «X» — перекрестное произведение, которое равно (-dzdx, -dzdy,1). Таким образом, у вас есть полученное векторное произведение нормалей, но нет необходимости вычислять его так явно в коде, когда вы можете просто использовать полученное выражение для нормали напрямую.

Псевдокод для вычисления нормали единичной длины в точке (x, y) будет выглядеть примерно так:

dzdx=(z(x+1,y)-z(x-1,y))/2.0;
dzdy=(z(x,y+1)-z(x,y-1))/2.0;
direction=(-dzdx,-dzdy,1.0)
magnitude=sqrt(direction.x**2 + direction.y**2 + direction.z**2)
normal=direction/magnitude

В зависимости от того, что вы пытаетесь сделать, может иметь смысл заменить значения NaN просто большим числом.

Используя этот подход, из вашего изображения диапазона я могу получить следующее:

(Затем я использую вычисленные направления нормалей, чтобы выполнить простое затенение; обратите внимание на «ступенчатый» вид из-за квантования изображения диапазона; в идеале у вас будет более высокая точность, чем 8-битная для данных реального диапазона).

Извините, это не код OpenCV или C++, а просто для полноты: полный код, создавший это изображение (GLSL, встроенный в файл Qt QML; может быть запущен с помощью qmlscene Qt5), приведен ниже. Приведенный выше псевдокод можно найти в функции main() фрагментного шейдера:

import QtQuick 2.2

Image {
  source: 'range.png'  // The provided image

  ShaderEffect {
    anchors.fill: parent
    blending: false

    property real dx: 1.0/parent.width
    property real dy: 1.0/parent.height
    property variant src: parent

    vertexShader: "
      uniform highp mat4 qt_Matrix;
      attribute highp vec4 qt_Vertex;
      attribute highp vec2 qt_MultiTexCoord0;
      varying highp vec2 coord;
      void main() {
        coord=qt_MultiTexCoord0;
        gl_Position=qt_Matrix*qt_Vertex;
      }"

   fragmentShader: "
     uniform highp float dx;
     uniform highp float dy;
     varying highp vec2 coord;
     uniform sampler2D src;
     void main() {
       highp float dzdx=( texture2D(src,coord+vec2(dx,0.0)).x - texture2D(src,coord+vec2(-dx,0.0)).x )/(2.0*dx);
       highp float dzdy=( texture2D(src,coord+vec2(0.0,dy)).x - texture2D(src,coord+vec2(0.0,-dy)).x )/(2.0*dy);
       highp vec3 d=vec3(-dzdx,-dzdy,1.0);
       highp vec3 n=normalize(d);
       highp vec3 lightDirection=vec3(1.0,-2.0,3.0);
       highp float shading=0.5+0.5*dot(n,normalize(lightDirection));
       gl_FragColor=vec4(shading,shading,shading,1.0);
     }"
  }
}

Код (вычисление матрицы) я считаю правильным:

def normalization(data):
   mo_chang =np.sqrt(np.multiply(data[:,:,0],data[:,:,0])+np.multiply(data[:,:,1],data[:,:,1])+np.multiply(data[:,:,2],data[:,:,2]))
   mo_chang = np.dstack((mo_chang,mo_chang,mo_chang))
   return data/mo_chang

x,y=np.meshgrid(np.arange(0,width),np.arange(0,height))
x=x.reshape([-1])
y=y.reshape([-1])
xyz=np.vstack((x,y,np.ones_like(x)))
pts_3d=np.dot(np.linalg.inv(K),xyz*img1_depth.reshape([-1]))
pts_3d_world=pts_3d.reshape((3,height,width))
f= pts_3d_world[:,1:height-1,2:width]-pts_3d_world[:,1:height-1,1:width-1]
t= pts_3d_world[:,2:height,1:width-1]-pts_3d_world[:,1:height-1,1:width-1]
normal_map=np.cross(f,l,axisa=0,axisb=0)
normal_map=normalization(normal_map)
normal_map=normal_map*0.5+0.5
alpha = np.full((height-2,width-2,1), (1.), dtype="float32")
normal_map=np.concatenate((normal_map,alpha),axis=2)

1. Мы должны использовать встроенные функции камеры с именем «K». Я думаю, что значения f и t основаны на трехмерных точках в координатах камеры.

2. Для нормального вектора (-1,-1,100) и (255,255,100) имеют один и тот же цвет на 8-битных изображениях, но они совершенно разные в норме. Таким образом, мы должны сопоставить значения нормали с (0,1) на normal_map=normal_map*0.5+0.5.

Добро пожаловать в общение.