Метрики классификации используются для оценки производительности модели машинного обучения, предназначенной для задач классификации. Эти показатели помогают количественно оценить, насколько хорошо модель может правильно предсказывать метки классов экземпляров данных. В этом ответе я объясню некоторые из наиболее часто используемых показателей классификации вместе с примерами.
- Матрица путаницы. Матрица путаницы — это таблица, используемая для оценки производительности модели классификации путем сравнения прогнозируемых и фактических меток классов. Это матрица 2x2, содержащая четыре показателя: истинно положительный (TP), ложноположительный (FP), истинно отрицательный (TN) и ложноотрицательный (FN).
Пример. Предположим, у нас есть проблема двоичной классификации, в которой нам нужно предсказать, является ли электронное письмо спамом. Матрица путаницы для прогнозов модели показана ниже:
- Точность. Точность — это основная метрика, используемая для оценки модели классификации. Он определяется как отношение правильно предсказанных экземпляров к общему количеству экземпляров.
Пример: в приведенной выше матрице путаницы точность модели составляет (100+500)/(100+20+10+500) = 93,75%.
2. Припоминание (чувствительность) — Припоминание объясняет, сколько реальных положительных случаев мы смогли правильно предсказать с помощью нашей модели. Это полезная метрика в тех случаях, когда ложноотрицательный результат вызывает большее беспокойство, чем ложноположительный результат. Это важно в медицинских случаях, когда не имеет значения, поднимем ли мы ложную тревогу, но действительно положительные случаи не должны остаться незамеченными!
ПРИМЕР 1 – Обнаружение мошенничества с кредитными картами
Мы не хотим пропустить ни одной мошеннической транзакции. Поэтому мы хотим, чтобы ложноотрицательный результат был как можно меньше. В этих ситуациях мы можем пойти на компромисс с низкой точностью, но полнота должна быть высокой. Точно так же мы не хотим пропустить ни одного пациента в медицинских приложениях. Поэтому мы ориентируемся на высокий отзыв.
До сих пор мы обсуждали, когда отзыв важнее точности. Но когда точность важнее памяти?
3. Точность. Точность объясняет, сколько правильно предсказанных случаев на самом деле оказались положительными. Точность полезна в тех случаях, когда ложноположительный результат вызывает большее беспокойство, чем ложноотрицательный результат. Точность важна для систем рекомендаций по музыке или видео, веб-сайтов электронной коммерции и т. д., где неверные результаты могут привести к оттоку клиентов и нанести ущерб бизнесу.
ПРИМЕР 2 — Обнаружение спама
При обнаружении спама нормально, если какой-либо спам останется необнаруженным (ложноотрицательный результат), но что, если мы пропустим какое-либо критическое письмо, потому что оно классифицируется как спам (ложноположительный результат). В этой ситуации ложное срабатывание должно быть как можно меньше. Здесь точность более важна, чем припоминание.
При сравнении разных моделей будет сложно решить, какая из них лучше (высокая точность и низкая полнота или наоборот). Следовательно, должна быть метрика, которая сочетает в себе оба этих показателя. Одним из таких показателей является оценка F1.
- F1-Score: F1-Score — это гармоническое среднее значение точности и полноты. Это сбалансированная метрика, которая учитывает как точность, так и количество отзывов.
Если вы нашли эту статью полезной, поделитесь ею с другими, кому она может быть полезна. Мы очень ценим вашу поддержку в распространении информации».
Подключи меня на Linkedin
Подключи меня на GitHub
Свяжись со мной в Instagram
Подключи меня на Kaggle
