Измерение производительности является важной задачей в машинном обучении. Поэтому мы можем полагаться на кривую AUC-ROC, когда дело доходит до проблем классификации. Используйте кривую AUC (площадь под кривой) ROC-кривую (рабочая характеристика приемника), когда вам нужно проверить или визуализировать производительность задачи мультиклассовой классификации. Это одна из наиболее важных метрик для проверки эффективности вашей модели классификации.

ROC-кривая

Кривая рабочих характеристик приемника (ROC) представляет собой график, показывающий эффективность модели классификации при всех пороговых значениях классификации. Эта кривая представляет два параметра.

  • Истинная положительная скорость (TPR)
  • Ложноположительный показатель (FPR)

Кривые ROC показывают TPR и FPR при разных порогах классификации. Снижение порога классификации позволяет классифицировать больше элементов как положительные, увеличивая как ложные срабатывания, так и истинные срабатывания. На рисунке ниже показана типичная кривая ROC.

Чтобы вычислить точки кривой ROC, модель логистической регрессии можно оценивать много раз с разными порогами классификации, но это неэффективно. К счастью, существует эффективный алгоритм на основе перестановок под названием AUC, который может предоставить эту информацию.

AUC: площадь под кривой ROC

AUC означает «площадь под ROC-кривой». Другими словами, AUC измеряет всю двумерную площадь под всей ROC-кривой (вспомните интегральный расчет) от (0,0) до (1,1).

AUC обеспечивает совокупный показатель производительности по всем возможным пороговым значениям классификации. Одним из способов интерпретации AUC является вероятность того, что модель ранжирует случайные положительные образцы выше, чем случайные отрицательные образцы. Например, следующее расположено слева направо в порядке возрастания прогнозов логистической регрессии:

AUC представляет собой вероятность того, что случайный положительный (зеленый) образец будет помещен справа от случайного отрицательного (красный) образца. AUC колеблется от 0 до 1. Модель, которая на 100% неверна в своих прогнозах, имеет AUC 0,0. AUC человека, чье предсказание верно на 100%, равно 1,0. AUC желателен по двум причинам.

  • AUC не зависит от масштаба. Он измеряет ранжирование прогнозов, а не абсолютные значения.
  • AUC — порог классификации без изменений. Измеряет качество прогнозов модели независимо от выбранного порога классификации.

Однако обе эти причины сопровождаются оговоркой, что они могут ограничивать полезность AUC в определенных случаях использования.

  • Масштабная инвариантность не всегда желательна. Например, вам может понадобиться очень хорошо настроенный стохастический выход, но AUC ничего вам об этом не скажет.
  • Инвариантность порога классификации не всегда желательна. Если существует большая разница в стоимости ложноотрицательных результатов. Сведение к минимуму определенных типов ошибок классификации может быть важным, поскольку они могут быть ложными тревогами. Например, если вы обнаруживаете спам в электронной почте, вам, вероятно, следует уделить первоочередное внимание минимизации ложных срабатываний (даже если это приведет к значительному увеличению ложных срабатываний). AUC не является полезным показателем для этого типа оптимизации.

Определение терминов, используемых в ROC Curve и AUC.

Истинная положительная частота (TPR) является синонимом отзыва и поэтому определяется как:

Ложноположительный показатель (FPR) определяется как:

Код:

Вы можете клонировать эту записную книжку, чтобы поиграться с кодом.

Спасибо за чтение. Надеюсь, у вас есть некоторое представление о том, что такое кривая AUC-ROC. Если вам понравился этот пост, вы получите немного дополнительной мотивации, похлопав этому посту 👏.