Сшивание нескольких изображений с помощью OpenCV (Python)

Шаг за шагом, предполагая, что вы хотите сшить четыре изображения I0, I1, I2, I3, ваша цель - вычислить гомографии H_0, H_1, H_2, H_3;

1. Вычислить все попарные гомографии H_01, H_02, H_03, H_12, H_13, H_23, где гомография H_01 деформирует изображение I0 в I1 и т. Д.
2. Выберите одно изображение привязки, например I1 какая позиция останется фиксированной, т.е. H_1 = Identity
3. Найдите изображение, которое лучше согласуется с I1 на основе максимального количества согласованных совпадений, например I3
4. Обновление H_3 = H_1 * inv(H_13) = inv(H_13) = H_31
5. Найдите изображение, которое лучше соответствует I1 или I3, например, I2 соответствует I3
6. Обновить H_2 = H_3 * H_23
7. То же, что и выше для изображения I0
8. Выполните настройку пакета для глобальной оптимизации выравнивания

См. Раздел 4 этой основополагающей статьи Автоматическое сшивание панорамных изображений с использованием неизменяемых функций для более подробного объяснения.

Хакерский подход

Самый простой способ (хотя и не очень эффективный) с учетом написанных вами функций - это просто вырастить панорамное изображение, сшивая его с каждым последующим изображением. Что-то вроде этого псевдокода:

panorama = images[0]
for i in 1:len(images)-1
    panorama = stitch(panorama,images[i])

Этот метод в основном пытается сопоставить следующее изображение с любой частью текущей панорамы. Он должен работать прилично хорошо, предполагая, что каждое новое изображение находится где-то на границе текущей панорамы и нет слишком большого искажения перспективы.

Математический подход

Другой вариант, если вы знаете порядок, в котором хотите сшить, - найти гомографию от одного изображения к другому, а затем умножить их. Результатом является гомография от этого изображения к изображению 0.

Например: H, который преобразует изображение 3 в линию с изображением 0, будет H_03 = H_01 * H_12 * H_23. Где H_01 - это H, который преобразует изображение 1 в линию с изображением 0. (В зависимости от того, как их код определяет H, вам может потребоваться отменить указанный выше порядок умножения.) Таким образом, вы должны умножить, чтобы получить H_0i, а затем использовать его для преобразования изображение i должно совпадать с изображением 0.

Для получения дополнительной информации о том, почему вы умножаете преобразования, см .: Преобразования и умножение матриц, в частности, часть" Состав преобразований ".

У меня была аналогичная проблема с пробелами между изображениями. Первое, что вам нужно сделать, это инициализировать накопленную матрицу гомографии для идентификации в первом кадре. Затем с каждым новым кадром вы должны умножать его на матрицу гомографии между текущим и следующим кадром. Помните, что нужно использовать матрицы numpy, а не массивы numpy. IDK почему, но у них разные процедуры умножения.

Вот мой код:

def addFramePair(self, images, ratio=0.75, reprojThresh=4.0, showMatches=False):        
    (imageA, imageB) = images
    (kpsA, featuresA) = self.detectAndDescribe(imageA)
    (kpsB, featuresB) = self.detectAndDescribe(imageB)

    H = self.matchKeypoints(kpsA, kpsB, featuresA, featuresB, ratio, reprojThresh)
    self.accHomography *= np.asmatrix(H)
    result = cv2.warpPerspective(imageA, np.linalg.inv(self.accHomography), (1600, 900))
    return result

imageA текущее, imageB следующее.

Надеюсь это поможет.