Метрики классификации - это метрики оценки, специфичные для моделей классификации; они состоят из различных методов, используемых для оценки эффективности моделей классификации.

Оценка модели классификации *

* при условии, что проблема классификации двоичная

Модель бинарной классификации состоит из четырех возможных результатов, полученных путем пересечения двух категорий с двумя классами. Две категории: Прогноз и Фактический или Предположение против результата. Это два класса: Положительный и Отрицательный, которые также можно рассматривать как «Да или Нет», «Верно или ложно», «Вкл. Или Выкл.», «1 или 0. ” Таким образом, четыре возможных результата: прогнозировать положительный и выводить положительный, прогнозировать положительный и выводить отрицательный, прогнозировать отрицательный и выводить положительный, прогнозировать отрицательный и выводить отрицательный.

Четыре результата

У всех четырех из этих четырех возможных результатов есть название. Когда вы прогнозируете положительный и получаете положительный результат, мы называем это истинно положительным. Это имеет смысл, потому что мы предположили положительные и получили положительные; результат положительный, и прогноз оказался верным. Когда вы прогнозируете положительный и получаете отрицательный результат, это называется ложно-положительным (также известно как ошибка типа 1 ). Это имеет смысл, потому что вы догадались положительно, но мы получили отрицательный результат; наше положительное предположение оказалось ложным, и, следовательно, мы получили ошибку. Когда вы Прогнозируете отрицательный и получаете положительный результат, это называется ложноотрицательным (или ошибкой типа 2 ). В этом случае вы сделали отрицательный прогноз, но он оказался ложным, и, следовательно, у нас есть второй тип ошибки. Четвертый возможный результат - это когда вы прогнозируете отрицательный и получаете отрицательный результат; это называется Истинно-отрицательное. Вы предсказали отрицательный результат, и ваш прогноз сбылся.

Ошибки типа I и типа II

Обратите внимание, что из четырех возможных результатов есть два случая, когда наш результат не соответствует нашим ожиданиям; когда мы прогнозируем положительный результат и получаем отрицательный результат, или когда мы прогнозируем отрицательный результат и получаем положительный результат. Хотя в обоих случаях мы допустили ошибку, важно различать, какая ошибка была сделана, поскольку последствия будут зависеть от типа ошибки. Например, предположим, что вы были врачом, проверявшим пациента на рак: если вы допустили ошибку типа I (ложноположительный результат), это означает, что вы сказали пациенту, что у него рак, хотя на самом деле это не так. Это приведет к тому, что пациент расстроится без причины, но рассмотрите альтернативу: в ситуации, когда вы допустили ошибку типа II (ложноотрицательный результат), вы говорите пациенту, что у него нет рака, хотя на самом деле он действительно болен. Это приведет к тому, что пациент не получит лечение рака, и в конечном итоге может привести к его смерти. В этом случае ошибка типа II явно намного хуже, чем ошибка типа I! Но это также зависит от ситуации.

Предположим, вы нанимаете няню и проверяете кого-то. Если вы допустили ошибку типа I (ложное срабатывание), проверка данных покажет вам, что няня, которую вы хотите нанять, является зарегистрированным сексуальным преступником, хотя на самом деле это не так. В результате вы не берете на работу ни в чем не повинного человека, который упускает возможность получить работу. Но если вы допустили ошибку типа II (ложноотрицательный), то проверка биографических данных не предупредит вас о сомнительном прошлом няни, и вы доверяете жизнь своих детей обидчику. В этом примере тип II явно является худшей из ошибок.

Простой способ запомнить, какая ошибка какого типа, показан на рисунке ниже:

Матрица путаницы

Матрица неточностей - это, по сути, визуализация результатов модели оценки оценки. Для модели бинарной классификации это будет выглядеть как сетка 2x2:

Матрица неточностей показывает количество истинных и ложных прогнозов, полученных с известными данными (обратите внимание, что порядок истинных и ложных является принятым стандартом для поддержания согласованности). На изображении выше , синие и серые круги обозначают случаи, которые, как известно, являются положительными (TP + FN) и отрицательными (FP + TN), соответственно, а синий и серый фон / квадраты обозначают случаи. прогнозируется как положительный (TP + FP) и отрицательный (FN + TN), соответственно. Уравнения для вычисления каждой метрики графически кодируются в терминах величин в матрице неточностей.

Вы также заметите на графике, что есть показатели, которые могут помочь нам суммировать производительность одним числом: чувствительность, специфичность, точность, точность и неправильная классификация. Чувствительность (также известная как отзыв) - это отношение истинных положительных результатов ко всем положительным результатам (TP / TP + FN); вы можете думать об этом как о том, какой процент положительных результатов был угадан правильно. Аналогичным образом, Специфичность - это отношение истинных отрицательных значений ко всем отрицательным (TN / TN + FP); Вы можете думать об этом как о том, какой процент отрицательных результатов был угадан правильно. Точность - это отношение истинных положительных результатов к прогнозируемым положительным результатам (TP / TP + FP); Вы можете думать об этом как о том, какой процент положительных прогнозов оказался верным. Точность - это отношение правильных предположений к общему количеству предположений (TP + TN / TP + FP + TN + FN); вы можете представить это как процент правильно предсказанных наблюдений. Коэффициент ошибочной классификации - это противоположность точности, отношение ошибочных предположений к общему количеству предположений (FP + FN / TP + FP + TN + FN); это можно представить как процент наблюдений, которые были в правильно спрогнозированы. Это также можно вычислить, вычтя точность из 1.

Хотя существуют гораздо более сложные проблемы классификации и гораздо более глубокие матрицы решений, которые представлены сетками с категориями и классами от 3 и выше, понимание метрик двоичной классификации и матрицы путаницы для моделей двоичной классификации создает основу для понимания этих более сложных систем. Если вы понимаете матрицу путаницы 2x2 и метрики двоичной классификации, вы на правильном пути к решению этих проблем для более сложных данных.