Как отличить настоящий негатив от видео?

Для измерения производительности я пытаюсь нарисовать кривую ROC. На кривой ROC я должен отобразить уровень ложных срабатываний (FPR) по оси x и уровень истинных положительных результатов (TPR) по оси y. Как мы знаем,

FPR = FP/(FP+TN)

Итак, на следующем рисунке, как я могу обнаружить True Negative (TN)? Я использовал классификатор HOG для обнаружения человека. Я отметил прямоугольником 1,2,3,4,5,6 (или должно быть 7), чтобы показать человеческие объекты, которые следует игнорировать и не классифицировать как человеческие. и я думаю, что это True Negative.

Истинно отрицательное определение в этом кадре

В этой картине я хочу сказать свое предположение, как мы знаем,

Ложноотрицательный: результат должен был быть положительным, но отрицательный.

Ложноположительный: результат должен был быть отрицательным, но положительный.

Истинный положительный результат: результат должен был быть положительным и положительный.

Истинный отрицательный результат: результат должен был быть отрицательным и является отрицательным.

Итак, я думаю, что в этом кадре FP = 0, TP = 0, FN = 0, но не уверен насчет TN, это 6 или 7 или что-то другое? Пожалуйста, поправьте меня также насчет FP, TP и FN, если я ошибаюсь. Я видел этот вопрос Как классифицировать True Negatives в скользящем окне обнаружение объекта?, что было очень полезно, но все же мне нужно рассчитать FPR для этого сценария.


person Md. Nahiduzzaman Rose    schedule 22.09.2016    source источник
comment
но что представляет собой этот образ? Что это за прямоугольники с цифрами? Является ли этот прямоугольник местом, где ваш алгоритм крикнул, что это человек? Если да, то что там под ним, есть ли что-нибудь человеческое? Чтобы использовать язык классификации, вам также нужно показать каждое место, где ваш алгоритм не сказал ничего интересного, и это будет, вероятно, ОГРОМНОЕ число (поскольку в скользящем окне у вас есть тысячи отрицательных ответов).   -  person lejlot    schedule 22.09.2016
comment
Да, эти прямоугольники и цифры. Это человек. Это кадр из бегущего видео, где происходит такая ситуация, я вычисляю FP,TP,TN,FN в каждом кадре. Итак, в этом кадре TN = 7? так как в скользящем окне у вас есть тысячи отрицательных ответов. Итак, как я могу рассчитать FPR и нарисовать кривую ROC? @лейлот   -  person Md. Nahiduzzaman Rose    schedule 22.09.2016
comment
Это звучит не по теме, вероятно, больше по теме в stats.SE   -  person catastrophic-failure    schedule 27.09.2016


Ответы (1)


Вы не можете вычислить эти значения из такого изображения, вам нужно больше данных (знание того, что на самом деле происходит). Но то, что вам нужно, вероятно, это просто общее количество этих окон, которое является некоторым постоянным N. Теперь кажется, что все эти окна неверны (ни одного не на человеке), таким образом:

  • FP = 6 (ваш метод утверждает, что есть 6 человек, но ни одно из этих утверждений не является действительным, поскольку они полностью отключены - однако, если это просто проблема с визуализацией, а метод действительно зафиксировал действительных людей, вместо этого эти 6 должны быть перемещены в TP)
  • TP = 0 (не правильно отмечает человека)
  • FN = 10 (если я правильно посчитал, на этом изображении 10 человек, и все они отсутствуют)
  • TN = N - 16, где N - количество всех проанализированных окон, так как все они корректно классифицируются как "недостаток человека" до 10 FN и 6 FP, что в сумме дает эти 16.

В целом

  • FP = сколько настоящих не людей помечены как "люди"
  • TP = сколько фактических людей помечены как "люди"
  • FN = сколько фактических людей правильно игнорируется (без пометки «человек»)
  • TN = сколько фактических не людей правильно игнорируется (не помечено как "человек")
person lejlot    schedule 22.09.2016
comment
Ну, метод HOG предоставляет прямоугольник (окно обнаружения) для обнаружения человека. В этом кадре я думаю, что ни один человек не должен быть обнаружен, поскольку некоторые из них такие крошечные и неполные. Таким образом, алгоритм не обнаруживает обнаружения, и это правильно. Поэтому я думаю, что FP = 0, так как нет обнаружения незавершенного человеческого объекта, TP = 0, так как нет прямоугольника нет человека, FN = 0, нет ложного прямоугольника или ложного обнаружение и TN = 10 (если есть 10 человекоподобных объектов, как вы считаете) только для этого кадра, поскольку не существует обнаруживаемого объекта (человека) и правильно игнорируется. Извините, я просто говорю о своем понимании и уверенности - person Md. Nahiduzzaman Rose; 22.09.2016
comment
Это совершенно не так, конечно, вы можете определить, какое разрешение быть человеком для вас важно, но вы не можете произвольно изменить определение этих терминов. Он вернул 6 кадров, ни один из них не человеческий (с высоким или низким разрешением), поэтому FP равен 6, и точка. Здесь нет обсуждения. FN равно 0 или 10, в зависимости от вашего разрешения. TN не равно 10, так как зависит от того, сколько кадров было фактически проанализировано. Вот как определяется этот термин. Однако в качестве мета-проблемы - если нет людей, вы вообще не можете определить эти объекты, это не проблема правильной классификации. - person lejlot; 22.09.2016
comment
Ваш подход будет означать, что у вас есть некоторая предварительная обработка, которая предварительно выбрала человекоподобные объекты, и алгоритм должен просто правильно классифицировать, какой человекоподобный является настоящим человеком, а какой нет. Это хорошо, но вам нужно фактически иметь этот метод (в скрипте, а не как человек). У тебя есть это? Это крайне маловероятный случай, так как он требует, чтобы у вас был совершенный человекоподобный преселектор, а положение обнаруженных людей уже показывает, что это не то, как это работает — он явно выбирает как человеческие вещи, которые даже не человекоподобный, так что это не подмножество ваших 10 человекоподобных вещей - person lejlot; 22.09.2016
comment
stackoverflow.com/questions/16271603/ на изображении этого вопроса FP = 2, не так ли? Как есть два ложно красных прямоугольника, ищущих человека, Но на моем изображении у вас нет чего-то вроде этих ЛОЖНЫХ ПРЯМОУГОЛЬНИКОВ. FN =1, как 1 прямое высказывание, и TP =3, как прямое высказывание. Вот как я думал. - person Md. Nahiduzzaman Rose; 22.09.2016
comment
Да, FP=2 для отдельного вопроса. А на представленном вами изображении есть 6 прямоугольников, которые неверно говорят о том, что есть человек. Посмотрите на мой ответ, я все время утверждаю, что FP = 6. Если вы не относитесь к ним как к нормальному, поскольку они немного отличаются, но достаточно близки, это очень специфично для предметной области, но я бы сказал, что это недопустимо с точки зрения распознавания изображений. - person lejlot; 22.09.2016
comment
Пожалуйста, не сердитесь, О, извините, что я сказал раньше. Эти прямоугольники не сгенерированы алгоритмом, я отметил это вручную !!! когда вы считаете 10, я считаю 6 и помечаю прямоугольником на изображении - person Md. Nahiduzzaman Rose; 22.09.2016
comment
Давайте продолжим обсуждение в чате. - person Md. Nahiduzzaman Rose; 22.09.2016
comment
Значит, ваш алгоритм ничего не выдал, а прямоугольники — это ваши человеческие аннотации? Тогда это огромная разница, и она будет FP=0, TP=0, FN=6, TN=N-6 (где N определяется как и раньше) - person lejlot; 22.09.2016
comment
Я отметил (прямоугольником) те, которые описывают мое понимание True Negative. Что ж, сэр, вы сказали FN = 6 из-за моей маркировки, но я также пренебрегаю этими 6 людьми, я думаю, что HOG не должен обнаруживать их и считать их TN. поэтому алгоритм HOG здесь верен и правильно игнорировал эти объекты. Итак, ФН = 0 - person Md. Nahiduzzaman Rose; 22.09.2016
comment
Мне также не ясно, что такое N (N - это количество всех проанализированных окон), означает ли проанализированное окно проанализированный кадр? Итак, я просто изучаю текущий кадр, поэтому проанализированное окно N = 1 в моем случае? - person Md. Nahiduzzaman Rose; 22.09.2016
comment
Вы как будто меняете смысл от ответа к ответу, теперь вы говорите, что то, что я отметил, не является ни человеком, ни ответом модели, здесь нет людей, и модель тоже так считает. Это не имеет ничего общего с предыдущими ответами, и в таком случае у вас будет FP = 0, TP = 0, FN = 0, TN = N, где N — количество проанализированных окон, и нет, N не равно 1, N равно сколько окон было подвергнуто анализу во время выполнения HOG. Таким образом, если у вас есть скользящее окно размером 4x4 на изображении с размером 64x64, это примерно ((64-4+1)^2 = 3721). Конечно проблема в том, что есть окна с почти человеческим... - person lejlot; 23.09.2016