Когда я помогал своему другу подготовиться к его предстоящему собеседованию с аналитиком данных, мы провели пробное интервью по статистике и машинному обучению. Делая это, я смог просмотреть некоторые концепции и понял, что раньше меня путали между ошибками типа 1 и типа 2 при проверке гипотез, а также точностью и полнотой в модели классификации. Тем не менее, я нашел способ помочь мне легко запомнить эти понятия, используя примеры. На самом деле они действительно связаны друг с другом. Поэтому я хотел бы поделиться тем, как различать ошибки типа I и типа II и как они связаны с точностью и отзывом в модели классификации.
Ошибка типа I означает, что вы отвергаете истинную нулевую гипотезу. Я называю это «ложной тревогой» или «ложным срабатыванием».
Ошибка типа 2 означает, что вы не можете (или не можете) отвергнуть ложную нулевую гипотезу. Я называю это «отсутствующим сигналом тревоги» или «ложноотрицательным срабатыванием».
Отзыв/Чувствительность/Показатель истинных положительных результатов – это количество правильных положительных результатов, деленное на количество всех положительных точек данных. Другими словами, он оценивает надежность модели.
Точность – это количество правильных положительных результатов, деленное на количество положительных результатов, предсказанных классификатором. Другими словами, он оценивает насколько точна модель.
Специфичность/частота истинно отрицательных результатов – это количество правильных отрицательных результатов, деленное на количество всех отрицательных точек данных.
Давайте используем два примера, чтобы проиллюстрировать, как эти понятия связаны друг с другом.
Пример 1: медицинская модель для классификации наличия у пациента рака.
Поскольку мы хотим найти/«зафиксировать» всех больных пациентов, у нас все в порядке, если не все больны.
Ложноположительная ошибка (типа I) допустима, а ложноотрицательная ошибка (типа II) — НЕ НОРМАЛЬНА.
В этой ситуации нам нужна модель с высокой ценностью отзыва.
Пример 2: модель детектора спама для классификации того, является ли новое электронное письмо спамом или нет.
Поскольку нам не обязательно находить весь спам, было бы НЕПРАВИЛЬНО, если бы новое важное электронное письмо было помечено как спам и удалено.
Ложноположительная ошибка (тип I) НЕ является нормой, но ложноотрицательная ошибка (тип II) допустима.
В этой ситуации нам нужна модель с значением высокой точности.
Конечно, бывают ситуации, когда нам может понадобиться как высокая полнота, так и точность. Мы могли бы использовать показатель F1, гармоническое среднее между отзывом и точностью.
