В этом блоге мы рассмотрим функции, реализующие те же метрики, что и самые популярные соревнования по обнаружению объектов.

Прежде чем мы углубимся в метрики оценки, мы должны знать следующие концепции, необходимые для понимания математических идей.

Вот эти важные понятия:

  1. Точность
  2. Отзывать
  3. F1-счет
  4. Площадь под кривой
  5. IOU (пересечение над союзом)
  6. MAP (средняя средняя точность)

С точки зрения непрофессионала, точность — это число, если поля определены правильно. Имеется в виду, сколько объектов правильно обнаружено с меткой класса и долговой распиской на изображении.

Напомним о количестве полей, которые не предсказаны. Имеется в виду количество объектов, присутствующих на изображении, которые не предсказаны по метке класса и долговой расписке.

С большей точностью объекты, предсказанные моделью, являются правильными в отношении классификации и локализации. меньше значения точности Объекты на изображении не предсказываются правильно.

Подробнее Вспомните, что все объекты на изображении правильно предсказываются с точки зрения классификации и локализации. При меньшем значении Recall большинство объектов на изображении не предсказываются правильно.

Что нужно знать:

  • Каждому объекту, предсказанному по изображению с помощью алгоритма, присваивается оценка достоверности.
  • В случае обнаружения объектов точность = TP/ Общее количество прогнозируемых объектов.
  • В случае обнаружения объекта Recall=TP/ Общее количество наземных истин.

#Они не отличаются от основных определений, так их легко понять.

  • Предложения по региону отличаются от региона интересов.

При оценке обнаружения объектов необходимо измерить две различные задачи.

  1. Определение наличия объектов на изображении (классификация).
  2. Определение местонахождения объекта(локализация, регрессионная задача).

У нас есть «оценка достоверности» или оценка модели с каждой обнаруженной ограничивающей рамкой для доступа к модели с различным уровнем достоверности.

Точность измеряет отношение истинных обнаружений объектов к количеству объектов, предсказанному классификатором. Если у вас есть оценка точности, близкая к, то существует высокая вероятность того, что классификатор предсказывает, что положительное обнаружение является правильным предсказанием.

Отзыв измеряет отношение истинных обнаружений объектов к общему количеству наземных объектов в наборе данных. Если у вас показатель припоминания близок к 1,0, то почти все объекты в вашей модели обнаруживаются моделью положительно.

Когда нам нужно проверить или визуализировать производительность задачи многоклассовой классификации, мы используем кривую AUC (Площадь под кривой) ROC (Рабочие характеристики приемника). Это один из наиболее важных показателей оценки для проверки производительности любой модели классификации. Он также записывается как AUROC (Область под рабочими характеристиками приемника).

Кривая ROC построена с TPR в зависимости от FPR, где TPR находится на оси y, а FPR — на оси x.

Пересечение над союзом (IOU)

Intersection Over Union (IOU) — это показатель, основанный на индексе Жаккара, который оценивает перекрытие между двумя ограничивающими прямоугольниками. Для этого требуется ограничивающая рамка наземной истины

и прогнозируемая ограничивающая рамка

. Применяя долговую расписку, мы можем сказать, является ли обнаружение действительным (истинно положительным) или нет (ложноположительным).
Долговая расписка представляет собой отношение пересечения предсказанной ограничивающей рамки и ограничивающей рамки наземной истины к объединению предсказанных ограничивающая рамка и области истинности.

На изображении ниже показана долговая расписка между ограничивающей рамкой истинности (зеленым цветом) и обнаруженной ограничивающей рамкой (красным).

Истинно положительный, ложноположительный, ложноотрицательный и истинно отрицательный

Некоторые основные понятия, используемые метриками:

  • True Positive (TP): Правильное обнаружение. Обнаружение с IOU ≥ порога
  • Ложное срабатывание (FP): неправильное обнаружение, обнаружение с долговой распиской ‹ порог
  • Ложноотрицательный результат (FN): Наземная истина не обнаружена, [если долговая расписка с наземной истиной ›порог, неправильное обнаружение]
  • True Negative (TN): не применяется. Это будет представлять собой исправленное неправильное обнаружение. В задаче обнаружения объектов есть много возможных ограничивающих рамок, которые не должны обнаруживаться на изображении. Таким образом, TN будет всеми возможными ограничивающими прямоугольниками, которые не были правильно обнаружены (так много возможных прямоугольников в изображении). Поэтому он не используется метриками.

порог: в зависимости от метрики обычно устанавливается на 50%, 75% или 95%.

Точность

Точность — это способность модели идентифицировать только соответствующие объекты. Это процент правильных положительных прогнозов, который определяется по формуле:

Отзывать

Отзыв — это способность модели находить все соответствующие случаи (все ограничивающие рамки истинности). Это процент истинных положительных результатов, обнаруженных среди всех соответствующих наземных истин, который определяется по формуле:

Для оценки модели мы будем рассматривать IOUscore, как?

Как работают прогнозы:

  • Когда несколько ящиков обнаруживают один и тот же объект, ящик с наибольшим IOU считается TP, а остальные ящики считаются FP.
  • Если объект присутствует и предсказанный блок имеет порог IOU ‹ с наземным блоком истинности, прогноз считается FP. Что еще более важно, поскольку ни один блок не обнаружил его должным образом, объект класса получает FN, .
  • Если объект отсутствует на изображении, но модель обнаруживает его, то прогноз считается FP.
  • Затем для каждого класса вычисляются полнота и точность, применяя вышеупомянутые формулы, в которых накапливаются предсказания TP, FP и FN.

Например: я выполняю обнаружение объекта на изображении с собакой и кошкой. Мы получим оценку Precision, Recall, F1 для каждого объекта.

Для этого примера я буду считать порог равным 0,5. В этом примере учтите, что мы рассчитываем показатели для ***Собаки***.

{Для ясного понимания исправьте метку класса Ground Truth, сначала проверьте iou, а затем метку класса. Основная истина — это метка класса, для которой мы вычисляем метрику. Вот это собака.

если метка IOU›0,5 == основная истина и [ IOU является самым высоким среди правильных прогнозов] -> Истинно положительный.

если метка IOU›0,5 == основная истина и [ IOU не является самым высоким среди правильных прогнозов] → Ложное срабатывание.

если iou‹0,5, но метка == основная истина предсказана на изображении-> Ложное срабатывание.

если iou›0,5, но метка != основная истина -> False Negative.

если объект не определен правильно для наземной истины ->False Negative.

Если iou‹0.5 и метка != основная правда -> Игнорировать.

}

Если предсказанная метка отсутствует в самом тестовом изображении -> тогда это будет FP для этой предсказанной метки.

Разберитесь с этим примером:

Использованная литература :

https://towardsdatascience.com/breaking-down-mean-average-precision-map-ae462f623a52

https://www.youtube.com/watch?v=oz2dDzsbXr8

Если мы увидим 7 изображений выше, у нас будет 14 полей истинности, выделенных зеленым цветом, и 24 объекта, обнаруженных моделью. Каждый обнаруженный объект имеет уровень достоверности и обозначается буквой (A, B,…, Y). Думайте, что зеленый прямоугольник — это объект, который нужно обнаружить. На данный момент мы думаем, что обнаруживаем объект, где изображения зеленого цвета могут быть собакой или кошкой.

В следующей таблице показаны ограничивающие рамки с соответствующими достоверностями. Последний столбец идентифицирует обнаружения как TP или FP. В этом примере TP рассматривается, если долговая расписка

30%, иначе это FP. Глядя на изображения выше, мы можем примерно сказать, являются ли обнаружения TP или FP.

На некоторых изображениях имеется более одного обнаружения, перекрывающего наземную правду (изображения 2, 3, 4, 5, 6 и 7). В этих случаях обнаружение с наибольшим IOU считается TP, а остальные — FP. Это правило применяется метрикой PASCAL VOC 2012: «e.g. 5 срабатываний (ТП) одного объекта засчитываются как 1 правильное обнаружение и 4 ложных обнаружения».

Кривая Precision x Recall строится путем расчета значений точности и полноты накопленных обнаружений TP или FP. Для этого сначала нам нужно упорядочить обнаружения по их достоверности, затем мы вычислим точность и отзыв для каждого накопленного обнаружения, как показано в таблице ниже:

Отзыв рассчитывается исходя из TP/количества наземных ящиков правды для этой конкретной метки класса.

Построив значения точности и полноты, мы получим следующую кривую точности x полноты:

Как упоминалось ранее, существует два разных способа измерения интерполированной средней точности: интерполяция по 11 точкам и интерполяция по всем точкам. Ниже мы делаем сравнение между ними:

Вычисление 11-точечной интерполяции

Идея интерполированной средней точности по 11 точкам состоит в усреднении точности на наборе из 11 уровней полноты (0,0,1,…,1). Интерполированные значения точности получаются путем взятия максимальной точности, значение полноты которой больше ее текущего значения полноты следующим образом:

Применяя 11-точечную интерполяцию, мы имеем:

Вычисление интерполяции, выполненной во всех точках

Интерполируя все точки, можно интерпретировать среднюю точность (AP) как аппроксимированную AUC кривой Precision x Recall. Намерение состоит в том, чтобы уменьшить влияние покачиваний на кривой. Применяя уравнения, представленные ранее, мы можем получить площади, как это будет показано здесь. Мы также могли бы визуально получить интерполированные точки точности, посмотрев на повторения, начиная с самого высокого (0,4666) до 0 (если смотреть на график справа налево), и по мере того, как мы уменьшаем полноту, мы собираем значения точности, которые являются самыми высокими. как показано на изображении ниже:

Глядя на график выше, мы можем разделить AUC на 4 области (A1, A2, A3 и A4):

Подсчитав общую площадь, имеем АП:

Результаты между двумя разными методами интерполяции немного отличаются: 24,56% и 26,84% при интерполяции по каждой точке и интерполяции по 11 точкам соответственно.