В предыдущем посте мы обсуждали различные типы отслеживания на основе компьютерного зрения. В Teleidoscope мы потратили много времени и усилий на создание быстрого и надежного средства отслеживания области интересов (ROI), которое мы лицензируем как есть и строим индивидуальные решения на основе потребностей клиентов.
В этом посте рассматриваются и сравниваются современные средства отслеживания рентабельности инвестиций, в том числе наши собственные.
Резюме: отслеживание области интересов
Трекеры ROI используются для отслеживания произвольных движущихся объектов или областей изображения. Это можно сделать как с данными предварительного обучения, так и без них.
Одним из примеров этого может быть отслеживание серфера с помощью потребительского беспилотника или использование стабилизатора, чтобы камера могла следовать за человеком.
Этот метод работает, используя информацию из предыдущих кадров, чтобы оценить, где объект, вероятно, будет находиться в текущем кадре. Это позволяет алгоритму искать только небольшую область вместо поиска всего изображения, как при традиционном подходе, основанном на детекторе.
Сравнения
Существует множество решений для отслеживания окупаемости инвестиций, но большинство из них не работают в повседневных ситуациях. Ниже мы проверили и сравнили наше отслеживание с 3 другими, которые считаются современными. Мы начнем со сравнения видео, а затем подробно рассмотрим каждую из них, а также плюсы и минусы.
CSRT
Этот трекер работает, тренируя фильтр корреляции со сжатыми функциями (HoG и Colornames). Затем фильтр используется для поиска области вокруг последней известной позиции объекта в последовательных кадрах.
Плюсы:
- Медленнее, но точнее, чем KCF.
- Устойчив к непредсказуемым движениям.
- Тренирован на одном патче изображения.
- Может восстанавливаться после сбоев, когда объект мало перемещался.
- Может выдерживать периодическое падение кадра.
- Сообщает о неустранимых сбоях.
- Адаптируется к масштабу, деформации и повороту.
- Параметры, настраиваемые вручную.
Минусы:
- не восстанавливается после сбоев из-за полной окклюзии.
- фиксируется на окружающих областях при частичном перекрытии, что приводит к дрейфу
- не восстанавливается, когда объекты меняются вне поля зрения
- Не восстанавливается после нескольких последовательных отказов.
- Не учитывает движение при оценке.
KCF
Этот трекер работает, тренируя фильтр с участками, содержащими объект, а также с соседними участками, которые его не содержат. Это позволяет трекеру искать область вокруг предыдущей позиции и использовать тот факт, что ближайшие участки могут содержать объект.
Плюсы:
- в 1,5–2 раза быстрее, чем CSRT, и примерно в 10 раз быстрее, чем у TLD.
- Адаптируется к масштабированию и вращению.
- Обучен на одном патче изображения.
- Отчет об агрессивных сбоях.
- Параметры, настраиваемые вручную
- Поддержка экстрактора пользовательских функций
Минусы:
- Плохо восстанавливается после сбоев.
- Не восстанавливается, когда объекты меняются вне поля зрения.
- Не восстанавливается после нескольких последовательных сбоев.
- Не включает движение в предварительный расчет
TLD
Этот трекер работает путем обучения классификатора, который используется для повторного обнаружения объекта и исправления ошибок отслеживания.
Плюсы:
- Восстанавливается после полной окклюзии.
- Тренирован на одном патче изображения.
- Адаптируется к масштабированию и деформации.
- Ищет все изображение на предмет сбоев, что делает его пригодным для общего отчет о местоположении
Минусы:
- Очень частые ложные срабатывания.
- Очень нестабильная оценка шкалы.
- Не очень хорошо сообщает о сбоях.
- Сравнительно очень медленно (60–100 мс)
TIO (наш)
Этот трекер работает, изучая текстуру, цвет, форму и окружение объекта по мере их изменения с течением времени.
Плюсы:
- Восстанавливается после полной окклюзии
- Долгосрочное отслеживание
- Остается стабильным при частичной окклюзии
- Адаптируется к масштабированию, деформации и вращению
- Поддерживает ручной или автоматический идеальная настройка параметров
- Поддерживает ручной выбор функции
- Может восстанавливаться после изменений, происходящих с объектами вне поля зрения
- Обучается на одном патче изображения
- Отчитывается, когда это поиск потерянного объекта после мягкого сбоя
- Поддерживает инициализацию и отслеживание нескольких объектов
- Автоматическое обнаружение дрейфа или ошибок обучения и исправление при необходимости
- Может работать в реальном времени на мобильном оборудовании
- Может использовать преимущества датчиков глубины или IMU для повышения точности
- Устойчивость к сильным падениям кадров и длительной невидимости цели
- Оптимизирована для поддержки камер с высоким FPS и высоким разрешением
- Может принимать преимущество событий фокусировки и экспозиции камеры, если они доступны
- Может быть инициализирован на движущихся объектах
Минусы:
- Большие объекты, занимающие более 40% изображения, могут привести к снижению производительности.
TIO обеспечивает точность CSRT, скорость KCF и может восстанавливаться после сбоев без постоянных ложных срабатываний лучше, чем TLD. Знаете кого-нибудь, кому нужно надежное решение для отслеживания? Пожалуйста, напишите мне на [email protected].
Написано с помощью нашего ведущего инженера по компьютерному зрению Эрика Лундквиста
