Гомография и Лукас Канаде в чем разница?

Лукас-Канаде — это алгоритм для вычисления оптического потока, т. е. кажущегося движения пикселей от одного изображения к другому. Движение определяет пиксельные соответствия («совпадения») между парами кадров — оно говорит, что пиксель (x, y) в изображении t соответствует пикселю (x', y') в пикселе t'. Используя эти соответствия (не менее 4), можно оценить геометрическое преобразование между изображениями, в частности гомографию.

Предлагаем запустить и прочитать примеры, поставляемые с opencv код.

Оптический поток: обнаружение движения от одного кадра к другому. Это либо разреженный (отслеживается несколько позиций, представляющих интерес, например, в примере LKDemo.cpp), либо плотный (одно движение на позицию для многих позиций (например, всех пикселей), например, демонстрации Farneback в openCV).

Независимо от того, имеете ли вы плотный или разреженный поток, существуют различные виды преобразований, которые могут попытаться оценить методы оптического потока. Наиболее распространенным преобразованием является перевод. Это просто смещение положения от кадра к кадру. Это можно визуализировать в виде векторов на кадр или в виде цвета, когда поток плотный и имеет высокое разрешение.

Нельзя ограничиваться только оценкой перевода на позицию. Вы также можете оценить вращение, например (как точка вращается от кадра к кадру) или как она перекошена. В аффинном оптическом потоке вы оцениваете полное аффинное преобразование для каждой позиции (изменение перевода, поворота, наклона и масштабирования). Аффинный поток — это классическая и мощная техника, которую часто неправильно понимают и, вероятно, используют гораздо реже, чем следовало бы.

Аффинные преобразования задаются наиболее экономично матрицей 2x3: 6 степеней свободы по сравнению с обычными 2 степенями свободы. регулярного поступательного оптического потока.

Оставив тему оптического потока, еще более общее семейство преобразований называется "Гомографии" или "проективные преобразования". Они требуют преобразования 3x3 и имеют 8 степеней свободы. Аффинного семейства недостаточно, чтобы описать тип деформации, которой подвергается плоскость, когда вы смотрите на нее с проективным искажением.

Гомографии обычно оцениваются по множеству совпадающих точек между кадрами. В этом смысле он использует вывод обычного поступательного оптического потока (но там, где для улучшения результатов часто используется аффинный подход).

Все это только царапает поверхность...