В прошлый раз я представил мистера Картофеля и его подход к проблеме крошечного пончика. Похоже, что Area Under Curve — лучшая метрика оценки для его проблемы с несбалансированным классом, потому что такое скалярное сравнение нечувствительно к изменениям порога принятия решения.
Однако с этой метрикой все еще существуют внутренние проблемы. Я представляю 2 модели: модель A с площадью под кривой, равной 0,8, и модель B с площадью под кривой, равной 0,75. С точки зрения скалярного сравнения ясно и почти без случайности то, что модель А лучше. Давайте посмотрим на возможные кривые точности отзыва (кривая PR) моделей A и B, просто основываясь на этих двух числах:
Рисунок 1:
Фигура 2:
Рисунок 3:
На рисунке 1 видно, что модель А превосходит по точности и полноте при любом пороге, поэтому с учетом имеющихся особенностей модель Б можно отбросить. С другой стороны, рисунки 2 и 3 не дают такого ясного понимания. Возможно, для Мистера Картофеля отзыв важнее точности, но ему также нужно избегать ужасной точности — точность в 10%, очевидно, звучит как глупая модель.
Или рассмотрим более экстремальную ситуацию, как показано на рисунке 4:
В этом случае модель А ведет себя странно. Это может произойти, когда кластеры истинных срабатываний очень близки к ложноположительным, что приводит к тому, что модель имеет 61% уверенность в том, что истинные срабатывания на самом деле являются единицами, но также 60% уверенность в том, что ложные срабатывания должны быть предсказаны как 1. Такое поведение на кривой PR также, вероятно, будет сопровождаться низкой обобщаемостью для тестового набора, небольшое изменение отрицательных примеров из тестового набора может привести к тому, что модель ошибочно классифицирует их как положительные.
Кроме того, если вы стремитесь к минимальной точности или баллу отзыва по соображениям бизнеса/безопасности для вашего конкретного приложения, например, вы можете захотеть обеспечить точность 95% для фильтра спама, скалярные сравнения площади под кривой могут быть неоптимальными. из чего делать выводы.
