Искажение объектива камеры в OpenGL

Дисторсия объектива обычно превращает прямые линии в кривые. Однако при растеризации линий и треугольников с помощью OpenGL края примитивов остаются прямыми, независимо от того, как вы преобразуете вершины.

Если ваши модели имеют достаточно тонкую тесселяцию, то включение искажения в преобразование вершин целесообразно. Это также работает, если вы визуализируете только точки.

Однако, когда ваша цель - общая применимость, вам нужно как-то справиться с примитивами с прямыми краями. Один из способов — использовать геометрический шейдер для дальнейшего разделения входящих моделей; или вы можете использовать шейдер тесселяции.

Другой метод — рендеринг в кубическую карту, а затем использование шейдера для создания эквивалента объектива. Я бы рекомендовал это для создания изображений «рыбий глаз».

Само искажение обычно представляется полиномом порядка 3-5, отображающим неискаженное угловое расстояние от оптической центральной оси в искаженное угловое расстояние.

Вдохновленный сообществом VR, я реализовал искажение с помощью смещения вершин. Для высоких разрешений это вычислительно более эффективно, но требует сетки с хорошей плотностью вершин. Возможно, вы захотите применить тесселяцию перед искажением изображения.

Вот код, реализующий модель рационального искажения OpenCV (см. https://docs.opencv.org/4.0.1/d9/d0c/group__calib3d.html для формул):

#version 330 core
layout (location = 0) in vec3 position;
layout (location = 1) in vec3 normal_in;
layout (location = 2) in vec2 texture_coordinate_in;
uniform mat4 model_matrix;
uniform mat4 view_matrix;
uniform float dist_coeffs[8];
uniform mat4 projection_matrix;
uniform vec3 light_position;
out vec2 texture_coordinate;
out vec3 normal;
out vec3 light_direction;

// distort the real world vertices using the rational model
vec4 distort(vec4 view_pos)
{
  // normalize
  float z = view_pos[2];
  float z_inv = 1 / z;
  float x1 = view_pos[0] * z_inv;
  float y1 = view_pos[1] * z_inv;
  // precalculations
  float x1_2 = x1*x1;
  float y1_2 = y1*y1;
  float x1_y1 = x1*y1;
  float r2 = x1_2 + y1_2;
  float r4 = r2*r2;
  float r6 = r4*r2;
  // rational distortion factor
  float r_dist = (1 + dist_coeffs[0]*r2 +dist_coeffs[1]*r4 + dist_coeffs[4]*r6) 
    / (1 + dist_coeffs[5]*r2 + dist_coeffs[6]*r4 + dist_coeffs[7]*r6);
  // full (rational + tangential) distortion
  float x2 = x1*r_dist + 2*dist_coeffs[2]*x1_y1 + dist_coeffs[3]*(r2 + 2*x1_2);
  float y2 = y1*r_dist + 2*dist_coeffs[3]*x1_y1 + dist_coeffs[2]*(r2 + 2*y1_2);
  // denormalize for projection (which is a linear operation)
  return vec4(x2*z, y2*z, z, view_pos[3]);
}

void main()
{
  vec4 local_pos = vec4(position, 1.0);
  vec4 world_pos  =  model_matrix * local_pos;
  vec4 view_pos = view_matrix * world_pos;
  vec4 dist_pos = distort(view_pos);
  gl_Position = projection_matrix * dist_pos;
  // lighting on world coordinates not distorted ones
  normal = mat3(transpose(inverse(model_matrix))) * normal_in;
  light_direction = normalize(light_position - world_pos.xyz);
  texture_coordinate = texture_coordinate_in;
}

Важно отметить, что искажения рассчитываются в z-нормализованных координатах, но денормализованы в координаты вида в последней строке искажения. Это позволяет использовать проекционную матрицу, подобную той, что приведена в этом сообщении: .github.io/2013/06/03/calilated_cameras_in_opengl/

Изменить: для всех, кто хочет увидеть код в контексте, я опубликовал код в небольшой библиотеке шейдер искажения используется в этом пример.