Обзор видеообъекта слежения - часть III: слежение за несколькими объектами

Обзор видеообъекта слежения - часть III: слежение за несколькими объектами

Эта статья является третьей из серии о отслеживании видеообъектов, которую я писал во время стажировки в Wintics с большой помощью Леви Вианы (технический директор Wintics) и Эмелин Фэй.

- Часть I: Презентация отслеживания видеообъектов
- Часть II: Отслеживание одного объекта
- Часть III: Отслеживание нескольких объектов

При отслеживании нескольких объектов, как следует из названия, необходимо отслеживать несколько объектов. Ожидается, что алгоритм отслеживания сначала определит количество объектов в каждом кадре, а во-вторых, чтобы отслеживать идентичность каждого объекта от одного кадра к другому.

MOT - сложная проблема: трудно избежать переключателей ID, особенно в загруженных видео, а природа, а также количество объектов в каждом кадре неизвестны, поэтому алгоритмы MOT строго полагаться на алгоритмы обнаружения, которые сами по себе несовершенны.

1. Наборы данных и контрольные показатели

Сама оценка ТО вызывает некоторые проблемы. Во-первых, сложно установить наборы данных. Во-вторых, алгоритмы MOT зависят от детектора, и сообщество не всегда соглашается с протоколом, которому следует следовать: должны ли мы оценивать трекер с помощью одного и того же детектора для всех или мы должны оценивать всю систему (детектор + трекер) вместе? Наконец, хотя некоторые показатели эффективности, такие как MOTA, обычно используются, некоторые исследователи по-прежнему не придерживаются этого показателя.

а. Контрольные точки

До 2015 года была довольно ограничена работа по стандартизации оценки MOT, и большинство опубликованных наборов данных, даже сегодня, относятся к конкретным приложениям.
С 2015 года наиболее часто используемым эталоном для MOT является задача MOT, которая ориентирована на пешеходов отслеживание. Их сайт содержит таблицу лидеров и всегда открыт для добавления новых трекеров.

Параллельно с этим в 2015 году были запущены UA-DETRAC Challenges. Практически каждый год DETRAC Challenges анализирует современные алгоритмы обнаружения и отслеживания транспортных средств. Участники могут подавать как детекторы, так и трекеры, и каждый трекер оценивается всеми детекторами.

Сегодня задача MOT является основным ориентиром для тестирования алгоритмов MOT. В этой задаче они предоставляют готовые к использованию детекторы, но также позволяют участникам представить свой собственный детектор (в этом случае он должен быть указан). Затем оценивается вся система (детектор + трекер).

б. Показатели эффективности

В литературе предлагается широкий спектр показателей. В этом разделе я представляю основные из них.

В основном отслеживаемый (MT), частично отслеживаемый (PT) и в основном потерянный (ML)

Каждую траекторию можно классифицировать как в основном отслеживаемую (MT), частично отслеживаемую (PT) и в основном потерянную (ML).
Цель в основном отслеживается, если она успешно отслеживается в течение не менее 80% срока ее службы, в основном теряется, если он успешно отслеживается не более чем на 20%. Все остальные цели отслеживаются частично.

MOTA (точность отслеживания нескольких объектов)

MOTA - это наиболее часто используемая сводная метрика для MOT. Это определяется следующим образом:

где FN_t - количество ложных срабатываний (пропущенных целей), FP_t - количество ложных срабатываний (призрачных траекторий), IDS_t - количество переключений идентичности в момент времени t. Цель считается пропущенной, если IoU с наземной достоверностью ниже заданного порога. (Обратите внимание, что MOTA может быть отрицательным.)

Сообщество обычно сообщает MOTA и Mostly Tracked для оценки производительности.
В Отслеживании трекеров авторы провели эксперимент, в ходе которого люди оценивали, какой трекер был лучшим. Оказывается, люди обычно соглашаются с этими показателями, а это означает, что их оценки положительно коррелировали с MOTA.

Обратите внимание, что в метрике MOTA преобладающий фактор плохой работы обычно связан с ложноотрицательным результатом: трекер обычно помогает детектору удалить ложное срабатывание, но когда детектор выходит из строя, текущие трекеры нескольких объектов не могут восстановиться после этого сбоя. .

c. Современные алгоритмы

Для MOT трудно продемонстрировать явный класс алгоритмов, который превосходит другие, такие как трекеры Siam и трекеры CF для SOT (см. Предыдущую статью этой серии).
Современные алгоритмы, т. Е. Алгоритмы, которые лучше всего подходят для выполнения задачи MOT, совершенно разные. Интересно отметить, что некоторые исследователи используют простые методы, и их алгоритмы, похоже, не уступают более сложным (например, обучение с подкреплением, RNN,…)

Например, авторы одного из самых эффективных алгоритмов MOT в 2019 году, TracktorCV, используя регрессор ограничивающего прямоугольника детектора Faster-RCNN и без какого-либо обучения отслеживанию данных, достигают результатов, сравнимых с результатами, полученными при текущем состоянии. -искусственные алгоритмы. Точно так же простые трекеры IoU, использующие эффективные детекторы, также превосходят гораздо более сложные алгоритмы. Это подчеркивает тот факт, что есть много возможностей для улучшения алгоритмов отслеживания.

Эти простые методы, в сочетании с некоторыми другими методами, позволяют достичь в 2019 году самых современных результатов: расширить свой алгоритм Tracktor сиамской сетью повторной идентификации и моделью движения, Bergmann et al. удается получить самые современные выступления. Расширение трекера IoU с помощью трекера одного объекта, чтобы сократить разрыв между пропущенными обнаружениями, Bochinski et al. также добиться наивысшей производительности.

Также интересно отметить тенденцию, заключающуюся во внедрении алгоритмов SOT, которая кажется весьма многообещающей. Например, LSST, который демонстрирует максимальную производительность на MOT 2017, включает подсеть SiamRPN для захвата краткосрочных сигналов, а также начало повторной идентификации (ReID) GoogleNet для извлечения долгосрочных сигналов. Он дополняется классификатором с поддержкой переключателя, роль которого заключается в надлежащем объединении нескольких сигналов.

Заключение

MOT - сложная проблема, и область ее применения все еще растет.
Большинство алгоритмов проверяются на тесте MOT. Однако существующие наборы данных по-прежнему зависят от приложения (отслеживание человека для задачи MOT), и все еще остаются споры по некоторым пунктам методов оценки.

Кроме того, трудно выбрать класс методов, который действительно выделялся бы, и существующие алгоритмы (даже самые эффективные) все еще нуждаются в улучшении. Было опробовано множество сложных алгоритмов, и их эффективность превзошла более простые методы, такие как использование детектора (Tracktor, IOU) и расширение с помощью других методов ... Вдохновленные прогрессом отслеживания одиночного объекта, некоторые исследователи также успешно попытались включить одиночный объект Трекеры в ТО.