Точность и отзыв — Объяснение!

При использовании модели классификации нам нужно использовать метрики, чтобы проверить, насколько хорошо работает наша модель.

Учитывая набор изображений между яблоками и апельсинами, после создания модели классификации нам нужно запустить ее на нашем тестовом наборе, чтобы определить, насколько хорошо наша модель научилась на данных обучающих данных.

Первая метрика, которая приходит на ум, — это Точность. Согласно ее основному определению, точность — это общее количество правильных прогнозов по общему количеству наблюдений, т. е. общее количество предсказанных правильных яблок/общее количество Апельсины и яблоки.

Точность обычно имеет значение, когда в нашем наборе данных одинаковое распределение яблок и апельсинов, но в реальной жизни данные, которые мы получаем, являются несбалансированными, что означает, что обычно у нас либо яблоки, либо апельсины выше или ниже по сравнению с другими.

Вот почему я пишу эту статью на Medium, посвященную метрикам классификации несбалансированных данных.

Точность:

Согласно определению Google, Precision это:

«Факт быть точным и точным».

Точно так же в машинном обучении можно понимать точность.

Точность определяется как отношение правильно классифицированных положительных образцов (истинно положительных) к общему количеству классифицированных положительных образцов (правильно или неправильно). Точность = истинный положительный результат/истинный положительный результат + ложный положительный результат. Точность = TP/TP+FP.

Простое объяснение:

Делим нашу модель на 2 части, сторону яблок и сторону апельсинов.

Примечание. На стороне Apple может быть мало яблок и апельсинов и наоборот, помните, что это прогноз модели, который мы проверяем.

Таким образом, для расчета точности яблок мы проверяем только сторону модели Apple. Здесь мы проверяем общее количество яблок, деленное на общее количество присутствующих яблок и апельсинов.

Точность: правильное количество яблок / общее наблюдение за яблоками сбоку

Отзывать:

Recall пытается ответить на следующий вопрос:

Какая доля фактически положительных результатов была определена правильно?

Это означает, что если мы вычисляем отзыв яблок, общее количество правильно найденных яблок, деленное на общее количество фактических яблок.

• Отзыв = TruePositives / (TruePositives + FalseNegatives)

ВОПРОС:

• Каждая ложноотрицательная ошибка будет стоить компании 5000 долларов.
• Каждая ложноположительная ошибка будет стоить компании 100 долларов.

На какой показатель, по вашему мнению, компания должна обратить больше внимания при создании модели классификации?

Это точность или отзыв?

ОТВЕТ:

Вот идея ответить на этот вопрос. Мы можем рассчитать стоимость двух разных сценариев и посмотреть на значение каждой метрики, чтобы решить, какая из них указывает на лучшую модель.

Это два сценария, в каждом из которых модель совершает пять ошибок:

1. 100 компонентов, 4 истинно положительных результата, 91 истинно отрицательный результат, 3 ложноположительных результата и 2 ложноотрицательных результата. Стоимость этого сценария составляет 300 долларов США + 10 000 долларов США = 10 300 долларов США.
2. 100 компонентов, 5 истинных положительных результатов, 90 истинных отрицательных результатов, 2 ложноположительных результата, 3 ложноотрицательных результата. Стоимость этого сценария составляет 200 долларов США + 15 000 долларов США = 15 200 долларов США.

Второй сценарий намного хуже для компании, поэтому нам нужно посмотреть на каждую из метрик и посмотреть, какая из них скажет нам об этом.

В обоих случаях точность модели составляет 95% — 5 ошибок на 100 выборок. Если вы ставите на первое место точность модели, она не сможет отличить эти два сценария друг от друга. Следовательно, первый вариант неверен.

Вычислим точность каждого сценария:

precision = TP/(TP+FP)
precision1 = 4/(4+3)
precision1 = 4/7
precision1 = 0.57
precision2 = 5/(5+2)
precision2 = 5/7
precision2 = 0.71

Если вы отдадите предпочтение точности модели, она ошибочно решит, что второй сценарий лучше, а это не так. Следовательно, второй вариант неверен.

Вычислим отзыв каждого сценария:

recall = TP/(TP+FN)
recall1 = 4/(4+2)
recall1 = 4/6
recall1 = 0.66
recall2 = 5/(5+3)
recall2 = 5/8
recall2 = 0.62

Припоминание говорит вам, что первый сценарий лучше второго, и это правильно. Приоритет отзыва — хорошая стратегия.