Автор Арбаз Шейх
После очистки данных, предварительной обработки и обработки первое, что мы делаем, — это загружаем данные в превосходную модель, которая естественным образом дает результаты в виде вероятностей. Держись, однако! Как, черт возьми, мы оцениваем производительность нашей модели. Более высокая производительность, более высокая эффективность — это именно то, чего мы хотим. Это момент, когда в поле зрения появляется матрица Путаницы. Матрица путаницы — это мера эффективности классификации машинного обучения. Его можно применять как к бинарной классификации, так и к задачам мультиклассовой классификации.
Матрица путаницы
Как следует из названия, это матрица n*n, состоящая из фактических значений и прогнозируемых значений. Вывод «TN» означает True Negative, который показывает количество точно классифицированных отрицательных примеров. Точно так же «TP» означает True Positive, что указывает на количество точно классифицированных положительных примеров. Термин «FP» показывает значение False Positive, т. е. количество фактических отрицательных примеров, классифицированных как положительные; и «FN» означает ложноотрицательное значение, которое представляет собой количество фактических положительных примеров, классифицированных как отрицательные.
Ложное срабатывание (FP) также известно как ошибка типа I.
Ложноотрицательный результат (FN) также известен как ошибка типа II.
Точность
Одной из наиболее часто используемых метрик при выполнении классификации является точность. Точность модели (через матрицу путаницы) рассчитывается по приведенной ниже формуле.
В приведенном выше примере мы видим, что наша модель работает не очень хорошо, поскольку она классифицирует все как отрицательное, потому что набор данных несбалансирован. Точность может ввести в заблуждение при использовании с несбалансированными наборами данных, поэтому существуют другие показатели, основанные на матрице путаницы, которые могут быть полезны для оценки производительности.
Отзывать
Отзыв — это мера того, сколько положительных моментов ваша модель может вспомнить из данных.
Сколько из всех положительных записей предсказано правильно.
Отзыв также известен как чувствительность или TPR (истинная положительная скорость).
Точность
Точность — это отношение правильных положительных прогнозов к общему количеству положительных прогнозов.
Из всех предсказанных положительных результатов, сколько на самом деле положительных
Как выбрать правильную метрику Precision или Recall?
Производительность модели можно оценить, используя как полноту, так и точность. Выбор зависит от проблемы, которую мы пытаемся решить.
Напомним — пример
Представьте, что мы создаем модель машинного обучения, которая может классифицировать людей со злокачественной опухолью (раком) или доброкачественными.
В этом примере метрики отзыва важнее точности. Уровень отзыва должен быть 100%. Все пациенты с раком должны быть правильно предсказаны. Ложный отрицательный результат должен быть равен 0.
Даже если мы прогнозируем рак для незлокачественных, это не будет фатальным.
Точность — пример
Допустим, мы создаем машинное обучение, которое помогает правильно определить, является ли электронное письмо спамом или ветчиной. В этом случае мы больше сосредоточены на том, чтобы не помечать ветчину как спам, потому что это может привести к тому, что важные электронные письма будут пропущены.
Допустим, мы протестировали нашу модель на 80 записях и получили приведенную ниже матрицу путаницы.
Оценка F1
Оценка F1 является гармоническим средним значением точности и отзыва.
Метрика оценки F1 используется, когда вы ищете баланс между точностью и отзывом.
