Одновременное изучение альтернативных показателей для более глубокого понимания
Привет!
Сегодня мы углубимся в конкретную метрику, используемую для оценки эффективности модели — показатель AUC. Но прежде чем мы углубимся в подробности, задумывались ли вы когда-нибудь, почему иногда необходимы неинтуитивные оценки для оценки производительности наших моделей?
Независимо от того, обрабатывает ли наша модель один класс или несколько классов, основная цель остается неизменной: оптимизация точных прогнозов при минимизации неверных. Чтобы изучить эту основную цель, давайте сначала посмотрим на обязательную матрицу путаницы, включающую истинные положительные, ложные положительные, истинные отрицательные и ложные отрицательные результаты.
Для любой задачи классификации или прогнозирования есть только два результата: правда или ложь.
Следовательно, каждая метрика, предназначенная для оценки эффективности алгоритма прогнозирования или классификации, основана на этих двух показателях. Самый простой показатель, который позволяет добиться этого, — это Точность.
Точность
В контексте классификации и точности прогнозирования означает долю правильно предсказанных экземпляров среди общего числа. Это очень простой и интуитивно понятный показатель прогнозирующей эффективности модели.
Однако достаточно ли точности?
Хотя точность является хорошим общим показателем производительности модели, ее неадекватность становится очевидной, когда мы изучаем приведенную ниже таблицу, на которую мы часто будем ссылаться в этой статье. В таблице показаны показатели производительности четырех моделей, каждая из которых дает несколько неоптимальные результаты, но все эти модели демонстрируют высокую точность. Например, в первом и втором случае наблюдается явное смещение в сторону одного класса, что приводит к унылой классификации для менее распространенного класса, хотя точность составляет 90%, что весьма вводит в заблуждение.
