Матрица путаницы, точность, отзыв, точность и F1-оценка
Понимание модели не заканчивается поиском точности. Каждая мера производительности модели важна и говорит нам о многих важных аспектах данных и самой модели. В этом блоге я постараюсь объяснить каждый небольшой вывод, который мы можем сделать из этой меры.
Матрица путаницы
Матрица путаницы — это сводная таблица, которая сообщает нам, насколько правильно и неправильно мы предсказали. Например, в случае бинарной классификации, если мы предсказываем, уйдет клиент или нет? 1 означает да, 0 означает нет.
- TN- Когда мы предсказываем, что клиент не уйдет и по данным поезда, мы видим, что он этого не сделал.
- FP- Когда на самом деле клиент не уйдет, но наша модель предсказала, что он уйдет.
- TP- Когда мы предсказываем, что клиент уйдет, и по данным о поездах, мы видим, что он ушел.
- FN-Когда на самом деле клиент ушел, но наша модель предсказала, что он не уйдет.
Чем меньше внутренний квадрат, тем лучше модель.
Точность
Точность — это отношение правильно классифицированных баллов к общему количеству баллов.
Точность — это одна из мер, позволяющих понять, как работает модель, но одного взгляда на точность недостаточно. Иногда точность может ввести в заблуждение. Предположим, у нас есть 1000 точек данных, из которых 900 — нули (не отток) и 100 — единицы (отток). Наша модель дала нам результат: TN=890 и TP= 10, теперь наша точность будет 890+10/1000=900/1000=0,9 или точность 90%. Точность модели идеальна, но есть проблема, у нас много нулей и очень мало единиц, и мы плохо справляемся с единицами. Это означает, что наши данные сильно несбалансированы, что влияет на нашу точность.
Вспомнить
Вспомните, сколько из фактических истинных точек данных идентифицировано как истинные точки данных. Здесь FN на самом деле положительный, но предсказанный отрицательный.
Точность
Точность говорит нам среди точек, идентифицированных моделью как положительные, сколько действительно положительных. Здесь FP на самом деле отрицательный, но предсказанный положительный.
Оценка F1
Если нам нужно только одно число, которое может объяснить как полноту, так и точность, мы используем показатель F1, который является гармоническим средним значением полноты и точности.
Теперь давайте разберемся, когда мы должны сосредоточиться на FP и FN.
Например, мы строим модель, которая предсказывает, болен человек или нет. Мы сохранили 0,5 как порог, выше которого у человека диагностируется заболевание, а ниже которого человек не страдает.
Теперь здесь FN (ложноотрицательный), когда человек страдает, но мы предсказали, что он не страдает, и FP (ложноположительный), когда человек не страдает, а мы предсказали, что он страдает. Основываясь на проблеме, мы можем решить, какую из них мы можем терпеть. В случае, если заболевание является раком, то для того, у кого нет рака, а мы прогнозировали, что он есть, в этом случае проведение химиотерапии очень опасно.
Теперь рассмотрим, предсказывает ли наша модель, представляет ли человек угрозу или нет в аэропорту. Здесь допустим угроза может быть чем угодно. Таким образом, FP — предсказание того, что какой-то невинный путешественник представляет угрозу, не является проблемой, потому что проверка будет проведена снова, и люди будут сотрудничать, если они знают, что это делается для их безопасности, и FN — предсказание того, что человек не представляет угрозы, но он реальная угроза будет проблемой, потому что на карту поставлено много жизней. Здесь мы должны сосредоточиться на уменьшении FN.
Давайте возьмем еще один пример модели прогнозирования погашения кредита, где FN — прогнозирует, что кто-то, кто может погасить кредит, прогнозируется как неплательщик, а FP — прогнозирует, что человек погасит кредит, но на самом деле он этого не сделает. В этом случае, если FN будет высоким, мы потеряем потенциальных клиентов, но если FP будет высоким, мы будем в убытке. С учетом этих точек принимаются деловые решения.
Другие приложения, которые вы можете попробовать:
- Нелегальные автомобили прогнозируются как нелегальные, здесь нелегальными могут быть угнанные автомобили, криминальные автомобили и т. д.
- Предсказание преступника не является виновным.
- Рекомендация продукта тому, кто не заинтересован.
Вопросы для быстрого повторения (другие темы):
- Критерии разделения в деревьях решений — индекс Джини или энтропия
- Почему MSE не используется в логистической регрессии - график MSE с весами представляет собой невыпуклую кривую - локальный минимум вызывает проблему
- Бэггинг уменьшает дисперсию. Повышение уменьшает смещение (True/False)– True.
- Как выбрать оптимальное количество. кластеров в K Means- Метод локтя, который измеряет графики объясненной вариации в зависимости от количества кластеров
Любовь! Реальный! Смех! Ваше здоровье
