Классификация — это контролируемая модель машинного обучения, используемая для классификации новых наблюдений. Модель учится на обучающих данных и классифицирует новые наблюдения. Выбор правильной метрики оценки для задачи классификации важен, поскольку она может варьироваться от проблемы к проблеме. Давайте разберемся с метриками оценки классификации.
1. Точность
Точность просто измеряет, насколько часто модель правильно предсказывает. Это отношение количества правильных предсказаний к общему количеству предсказаний.
TP: количество положительных меток, которые также прогнозируются как положительные.
FP: количество отрицательных меток, которые прогнозируются как положительные.
TN: количество отрицательных меток, которые также прогнозируются как отрицательные.
FN: количество положительных меток, которые прогнозируются как отрицательные.
Но он учитывает только правильно классифицированные прогнозы, а не неправильные. Давайте посмотрим пример. Предположим, что имеется 99 отрицательных меток и 1 положительная метка, тогда классификатор всегда будет предсказывать наблюдение как положительное, тогда мы получим точность 99% (TP = 99, TN = 0, FP = 1, FN = 0), что является хорошим показателем, но модель является плохим, поскольку не прогнозирует отрицательную метку, следовательно, модель является предвзятой. Чтобы справиться с этой ситуацией, нам нужна другая метрика. Точность полезна, когда целевой класс хорошо сбалансирован.
2. Точность
Точность определяется как количество истинных положительных результатов, разделенное на положительные прогнозы (TP+FP). Это объясняет правильное положительное предсказание среди всех положительных предсказаний. Это полезно, когда ложноположительный результат (FP) вызывает большее беспокойство, чем ложноотрицательный результат (FN).
3. Напомним
Припоминание определяется как количество истинных положительных результатов, разделенное на фактические положительные результаты. Это объясняет правильные положительные предсказания среди всех реальных положительных меток. Это полезно, когда ложноотрицательный результат (FN) вызывает большее беспокойство, чем ложноположительный результат (FP). Например, при выявлении рака FP подходит, но фактический положительный случай не должен остаться незамеченным.
Нам необходимо, чтобы и точность, и полнота были высокими, но существует компромисс между точностью и полнотой. Следовательно, у нас есть рейтинг F1.
4. Оценка F1
F1 Score — это сочетание точности и запоминаемости. Он рассчитывается как среднее гармоническое точности и полноты. Это полезно, когда FN и FP одинаково важны. Оно максимально, когда точность и полнота равны.
5. АУК-РПЦ
Кривая ROC (рабочие характеристики приемника) представляет собой график, показывающий производительность модели классификации при различных пороговых значениях. Он отображает TPR против FPR. Истинный положительный рейтинг (TPR) – это не что иное, как отзыв. Уровень ложноположительных результатов (FPR) — это соотношение FP и количества фактических негативов.
AUC — это площадь под кривой графика ROC. Чем больше площадь, тем лучше модель классификации. Когда AUC равен 1, это означает, что классификатор способен четко различать все положительные и отрицательные классы.
Мы можем сравнить производительность нескольких моделей и выбрать модель с самым высоким значением AUC. Это хороший показатель для сравнения производительности двух или более моделей.
Это наиболее часто используемые показатели оценки классификации, и их следует использовать в соответствии с конкретной задачей.
Конечные примечания
Спасибо за прочтение! Надеюсь, я дал некоторое базовое представление о метриках оценки в задаче классификации. Я всегда открыт для ваших вопросов и предложений. Свяжитесь со мной в LinkedIn.
