Выравнивание мультиспектральных изображений не удается с помощью ECC

Вы предлагаете использовать алгоритм, основанный на функциях?

Конечно. Существует множество алгоритмов обнаружения признаков. Обычно я выбираю SIFT, потому что он обеспечивает хорошие результаты сопоставления, а время выполнения достаточно быстрое.

import cv2 as cv
import numpy as np

# read the images
ir = cv.imread('ir.jpg', cv.IMREAD_GRAYSCALE)
rgb = cv.imread('rgb.jpg', cv.IMREAD_COLOR)

descriptor = cv.SIFT.create()
matcher = cv.FlannBasedMatcher()

# get features from images
kps_ir, desc_ir = descriptor.detectAndCompute(ir, mask=None)
gray = cv.cvtColor(rgb, cv.COLOR_BGR2GRAY)
kps_color, desc_color = descriptor.detectAndCompute(gray, mask=None)

# find the corresponding point pairs
if (desc_ir is not None and desc_color is not None and len(desc_ir) >=2 and len(desc_color) >= 2):
    rawMatch = matcher.knnMatch(desc_color, desc_ir, k=2)
matches = []
# ensure the distance is within a certain ratio of each other (i.e. Lowe's ratio test)
ratio = 0.75
for m in rawMatch:
    if len(m) == 2 and m[0].distance < m[1].distance * ratio:
        matches.append((m[0].trainIdx, m[0].queryIdx))

# convert keypoints to points
pts_ir, pts_color = [], []
for id_ir, id_color in matches:
    pts_ir.append(kps_ir[id_ir].pt)
    pts_color.append(kps_color[id_color].pt)
pts_ir = np.array(pts_ir, dtype=np.float32)
pts_color = np.array(pts_color, dtype=np.float32)

# compute homography
if len(matches) > 4:
    H, status = cv.findHomography(pts_ir, pts_color, cv.RANSAC)

warped = cv.warpPerspective(ir, H, (rgb.shape[1], rgb.shape[0]))
warped = cv.cvtColor(warped, cv.COLOR_GRAY2BGR)

# visualize the result
winname = 'result'
cv.namedWindow(winname, cv.WINDOW_KEEPRATIO)
alpha = 5
# res = cv.addWeighted(rgb, 0.5, warped, 0.5, 0)
res = None
def onChange(alpha):
    global rgb, warped, res, winname
    res = cv.addWeighted(rgb, alpha/10, warped, 1 - alpha/10, 0)
    cv.imshow(winname, res)
onChange(alpha)
cv.createTrackbar('alpha', winname, alpha, 10, onChange)
cv.imshow(winname, res)
cv.waitKey()
cv.destroyWindow(winname)

Результат (альфа=8)

Редактировать. Кажется, что SIFT — не лучший вариант, так как он не подходит для некоторых других примеров. Примеры изображений находятся в другом вопросе.

В этом случае я предлагаю использовать SURF. Это запатентованный алгоритм, поэтому он не поставляется с последними установками OpenCV PIP. Вы можете установить предыдущие версии OpenCV или собрать его из исходного кода.

descriptor = cv.xfeatures2d.SURF_create()

Результат (альфа=8)

Edit2: Теперь ясно, что ключом к решению этой задачи является выбор правильного дескриптора функции. В заключение я предлагаю выбрать подходящую модель движения. В этом случае аффинное преобразование подходит лучше, чем гомография.

H, _ = cv.estimateAffine2D(pts_ir, pts_color)
H = np.vstack((H, [0, 0, 1]))

Результат аффинного преобразования: