Методы проверки эффективности моделей классификации

Проблемы классификации — одна из наиболее часто используемых категорий постановки задач в машинном обучении и науке о данных. Когда мы исследуем реальное приложение, в котором машинное обучение и наука о данных используются техническими гигантами, такими как Google, Apple, Tesla, Microsoft, Facebook и т. д., мы обнаружим, что 9 из 10 формулировок задачи являются формулировками задачи классификации. Из-за его популярности каждый день появляется много новых методов, которые бросают вызов ранее существовавшим методам.

НО НА КАКИХ ОСНОВАНИЯХ?

Ответ прост, по соображениям точности. Исследовательские работы также публикуют работу и сравнивают результаты своих новых подходов с уже проверенными исследовательскими работами. Поэтому всякий раз, когда мы говорим, что создали модель машинного обучения, первый вопрос, который возникает у нас: «Какова точность вашей модели?».

Для проверки нашей модели классификации существует множество методов, на основе которых мы можем сказать, что наша модель машинного обучения лучше. Кроме того, есть некоторые специализированные метрики для оценки модели. Но в этой статье мы поговорим о самых популярных методах, используемых для проверки производительности и широко применяемых в индустрии машинного обучения и науки о данных.

В этой статье рассматриваются следующие популярные методы:

1. Точность и ее ограничения
2. Матрица путаницы
3. Точность и отзыв
4. F1-счет
5. Специфика
6. Кривая рабочих характеристик приемника (ROC)
7. Площадь под кривой (AUC)

Давайте начнем разбираться в каждом методе в деталях.

Точность

Точность для проблемы классификации является простым расчетом и широко используется в промышленности. В математическом представлении

Точность = ((Количество правильных прогнозов)/(Общее количество прогнозов))*100

Как мы знаем, в задачах классификации наша модель машинного обучения распределяет входные переменные по разным классам. Мы подсчитываем общее количество классификаций, сделанных нашей моделью, и сколько классификаций верны.

from sklearn.metrics import accuracy_score
#Y_pred is the predicted target variable and 
#Y_act is the true target variable. Then,
print("Accuracy = ", accuracy_score(Y_act, Y_pred))

Ограничения точности

Хотя это очень широко используемый показатель, он имеет ряд серьезных ограничений. Предположим, вы обучили модель классифицировать изображения по двум классам: "Кошка" или "Без кошки". Вы протестировали свою модель на 100 изображениях, содержащих кошек, и ваша модель все время давала значение, соответствующее классу «Кошка». Таким образом, точность приведенных выше формул ((100)/(100)*100) = 100%. Ух ты!!!

Но что, если ваша модель всегда предсказывает только класс «Кошка»?

Вот в чем загвоздка. Если бы вы протестировали свою модель на более чем 100 изображениях без кошек, то точность была бы ((0)/(100)*100) = 0%, но вы уже везде заявили, что ваша модель достигла 100% точности. Таким образом, мы не должны судить о модели только по показателю точности, поскольку она хорошо работает со сбалансированным набором данных, но не с несбалансированным.

Матрица путаницы

Одна из лучших оценочных метрик, которую можно рассматривать как основу для других измерений производительности. Это называется матрицей путаницы, так как она очень часто сбивает пользователей с толку.

Рассмотрим на примере четыре термина: истинно положительный (TP), истинно отрицательный (TN), ложноположительный (FP) и ложноотрицательный (FN),которые составляют матрицу путаницы. Все показатели эффективности будут определены с использованием этих терминов.

Предположим, мы хотим съесть яблоко, и, поскольку мы заботимся о своем здоровье, мы построили модель классификации машинного обучения, которая использует изображение яблока в качестве входных данных и предсказывает, является ли оно свежим или старым. К счастью, у нас есть своя ферма, и мы знаем, какие яблоки относятся к категории свежих, а какие нет. Исходя из этого, давайте определим четыре важных термина.

Истинный положительный результат (TP): это когда наша модель говорит, что яблоко свежее, и это яблоко на самом деле было свежим.

Истинно отрицательный (TN):этокогда наша модель говорит, что яблоко старое, и это яблоко действительно было старым.

Ложное срабатывание (FP): это когда наша модель машинного обучения говорит, что яблоко свежее, но на самом деле это яблоко было старым. Этот случай широко известен как Ошибка первого рода.

Ложноотрицательный результат (FN):это когда наша модель машинного обучения говорит, что яблоко старое, но на самом деле это яблоко было свежим. Этот случай широко известен как Ошибка типа II.

from sklearn.metrics import confusion_matrix
y_true = ["fresh", "old", "old", "fresh", "fresh", "fresh"]
y_pred = ["fresh", "old", "fresh", "old", "fresh", "old"]
arr = confusion_matrix(y_true, y_pred, labels=["fresh", "old"])
print("Confusion Matrix = ",arr)
tn, fp, fn, tp = arr.ravel()

Теперь, если нам нужно переопределить термин точности, то

в котором указано, Сколько из всех имеющихся у нас яблок было правильно предсказано как свежее и старое.

Точность и отзыв

Теперь предположим, что есть сценарий, в котором у нас есть 100 яблок. Мы предсказали эти типы яблок, используя наши две разные модели классификации; они разделили яблоки на «свежие» и «старые». Когда мы наблюдали предсказания, мы обнаружили,

Модель 1: TP = 68, FN = 22, FP = 0, TN = 10.

Модель 2: TP = 90, FN = 0, FP = 4, TN = 6.

Теперь предположим, что это наша ферма, и мы хотим сохранить яблоко. Но проблема в том, что если мы будем хранить старые и свежие яблоки вместе, это превратит «свежие» в «старые». В таком сценарии мы должны наказывать ложные срабатывания, потому что в таком сценарии все новые будут преобразованы в старые. Точность является мерой только для этого. В приведенном выше случае предпочтение отдается модели 1.