Приступая к алгоритмам машинного обучения классификации, вы должны ознакомиться с четырьмя показателями оценки: точность, полнота, точность и оценка F-1.
Точность
Точность – это показатель того, сколько предсказанных положительных результатов на самом деле верны. Чем больше ложных срабатываний, тем ниже точность. При отсутствии ложных срабатываний показатель точности равен 1,0.
Вспомнить
Припоминание — это мера того, сколько положительных результатов было правильно идентифицировано. Чем больше ложноотрицательных результатов, тем ниже отзыв. Если нет ложноотрицательных результатов, балл отзыва равен 1,0.
Точность и полнота
Точность и Отзыв обратно пропорциональны: когда точность повышается, отзыв снижается, и наоборот. Выбор метрики, которую вы хотите использовать для оценки вашей модели, зависит от контекста. Предпочтительно ли иметь больше ложноположительных результатов, чем ложноотрицательных? Или вы предпочитаете, чтобы ложноотрицательных результатов было больше, чем ложноположительных? Точность наказывает за большее количество ложных срабатываний. Отзыв наказывает за более высокие значения False Negatives.
Примером, когда вы предпочитаете более высокую точность, является одобрение кредита. Для банка было бы менее рискованно отказать кому-то в ссуде, когда он на самом деле имеет низкий уровень риска, чем одобрить ссуду клиенту с высоким уровнем риска. Примером, когда вы бы предпочли более высокий отзыв, является скрининг рака. Пациент, у которого неправильно диагностирован рак, может пройти дополнительное обследование. Пациент, у которого ошибочно диагностировано отсутствие рака, может пропустить жизненно важное медицинское вмешательство.
Точность
Точность — это мера того, сколько прогнозов верны. Если все положительные и отрицательные прогнозы верны, оценка точности равна 1,0.
Оценка F-1
Оценка F-1 зависит как от точности, так и от отзыва. Он уравновешивает плюсы и минусы точности и отзыва. Идеальная точность и полнота приведут к оценке F-1 1,0.
