Показатели производительности для задачи классификации .

Показатели производительности — это способ понять, насколько хороша модель на тестовых данных или данных проверки.

Существует несколько метрик, но не каждую метрику можно использовать везде. Таким образом, нужно знать, когда он / она должен применять какую метрику, даже если мы создали очень хорошую модель, и если мы не используем соответствующую метрику, это будет полная трата.

Постановка задачи классификации может быть решена двумя способами.

Случай 1) — Использование меток классов: здесь пороговое значение принадлежности к любому классу зафиксировано на уровне 0,5, а в таких случаях используются следующие метрики: Точность, Точность, Отзыв, F-бета

Случай 2) — Использование вероятности: здесь нам явно нужно найти пороговое значение принадлежности к какому-либо классу, после чего мы предскажем метку класса. В таких случаях используется метрика ROC-AUC. кривая, кривая PR.

Прежде всего, мы рассмотрим показатели, связанные с Случаем 1.

Предположим, у нас есть проблема двоичной классификации, включающая 1000 записей с (почти) равной долей обоих классов, например, соотношением 50:50, соотношением 60:40. Тип метрики, используемой в таком сбалансированном наборе данных, — Accuracy.

Если мы возьмем соотношение 80:20 или 90:10, некоторые алгоритмы машинного обучения будут смещены в сторону доминирующего класса. Здесь мы не должны использовать точность, вместо этого мы должны использовать показатели точности, отзыва и F-бета.

Матрица путаницы

Истинно положительный (TP): относится к положительным кортежам, которые правильно помечены классификатором.

Истинно отрицательный (TN): относится к правильно классифицированным отрицательным кортежам.

Ложное срабатывание (FP): It относится к отрицательным кортежам, которые неправильно классифицированы.

Ложноотрицательный(FN):Это относится к положительным кортежам, которые неправильно классифицированы.

Точность

Это процент правильно классифицированных кортежей.

Нашей главной целью должно быть уменьшение ложных срабатываний и ложных отрицаний.

Всякий раз, когда наш набор данных несбалансирован, мы должны использовать Recall, Precision и F-beta.

Отзывать

Это означает, чтосколько из всех фактических положительных значений мы правильно классифицировали. Он также известен под терминами Чувствительность или TPR.

Всякий раз, когда мы хотим придать значение ложноотрицательным результатам, мы должны использовать Отзыв.

Точность

Это означает, чтоиз всех предсказанных положительных кортежей сколько на самом деле было положительным.

Всякий раз, когда мы хотим придать значение ложным срабатываниям, мы должны использовать Precision.

Идеальный балл за меткость, точность и полноту — 1.

F-бета

Когда важны как ложноположительные, так и ложноотрицательные результаты, тогда мы должны рассматривать F-бета.

Когда одинаково важны как ложноположительные, так и ложноотрицательные результаты, мы используем бета = 1, тогда F-бета называется показателем F-1.

Когда ложным срабатываниям придается большее значение, чем ложным отрицательным, мы уменьшаем бета от 0 до 1.

Когда ложноотрицательным результатам придается большее значение по сравнению с ложноположительными, мы увеличиваем бета-значение больше 1.

Метрики, используемые в примере 2

Кривая ROC-AUC

Эта кривая в основном используется для задачи бинарной классификации. Это измерение производительности при различных пороговых значениях. Он говорит, насколько модель способна различать классы.

ROC означает кривую работы приемника.

AUC означает площадь под кривой

Эта кривая построена между TPR и FPR, где TPR находится на оси y, а FPR — на оси x.

Чем выше площадь под ROC-кривой, тем лучше модель.

Хорошая модель всегда должна иметь площадь больше, чем площадь, указанная красной линией. Он никогда не должен быть меньше 0,5. Чем дальше мы удаляемся от этой красной линии, тем лучше модель.

Кривая точности-отзыва

Это очень похоже на кривую ROC-AUC, вместо использования TPR и FPR, она использует Precision и Recall по оси Y и оси X соответственно.

Ключевое отличие заключается в том, что кривая ROC-AUC используется, когда у нас есть сбалансированный набор данных, а кривая PR используется, когда у нас есть несбалансированный набор данных.

Если вы нашли эту статью информативной и интуитивно понятной, не забудьте похлопать.

Счастливого обучения.