Что такое Precision, напомним, f score?
Это метрики, используемые для задач классификации простым языком, но теперь вы можете подумать, зачем нужно использовать все эти метрики, когда у нас есть простая метрика, называемая точностью, для измерения правильности модели!
Причина в том, что точность не может дать нам правильную оценку того, как модель будет работать с невидимыми данными все время, особенно когда у нас есть несбалансированные данные. Рассмотрим проблему классификации того, является ли входящее электронное письмо спамом или нет. В большинстве случаев в реальных сценариях электронные письма, которые мы получаем, не являются спамом.
Рассмотрим другую проблему классификации, когда пациент классифицируется как больной раком или нет. Здесь также, если мы рассмотрим сценарий реального мира, мы можем сказать, что большинство пациентов не будут классифицироваться как больные раком. Это примеры несбалансированных наборов данных. Когда мы обучаем модель на таких наборах данных, наша модель становится смещенной к одному типу класса (классу большинства) в данных. Следовательно, это даст хорошую точность для таких предвзятых наборов данных, но что, если мы протестируем модель на полностью невидимых данных, она будет плохо работать с такими данными. Следовательно, точность не дала нам хорошей оценки модели и не может использоваться для проверки.
Чтобы решить эту проблему, мы можем использовать другие показатели, такие как точность, полнота, f-оценка и т. д.
Что такое точность?
Точность говорит нам, какая часть положительных идентификаций модели действительно верна.
Формула точности:
Точность = (Истинно Положительный) / (Истинно Положительный + Ложноположительный)
Что такое отзыв?
Отзыв говорит нам, какая доля фактических положительных результатов правильно идентифицируется моделью.
Формула отзыва:
Отзыв = (истинно положительный) / (истинно положительный + ложноотрицательный)
Теперь у этой точности и отзыва есть компромисс, означающий, что оба они не могут быть увеличены одновременно, поэтому, какой из них увеличить, зависит от типа проблемы, с которой мы сталкиваемся.
Давайте возьмем пример вышеприведенной классификации спама, не спамовой почты, в таком случае возникнет проблема, если наша модель классифицирует неспамовые письма как спамовые, то есть мы должны больше сосредоточиться на уменьшении ложных срабатываний. в этом случае и, следовательно, мы должны попытаться повысить точность.
Рассмотрим второй пример, когда у пациента обнаруживают рак или нет. В этом случае будет проблемой, если наша модель классифицирует пациента как больного, даже если у него рак, поэтому мы должны больше сосредоточиться на снижении ложноотрицательныйвв этом случае, и, следовательно, мы должны попытаться увеличить отзыв.
Что такое счет f1?
Оценка F1 в основном является гармоническим средним значением точности и полноты
Формула для оценки f1:
Показатель F1 = 2 * (точность * полнота) / (точность + полнота)
Оценка F1 может использоваться, когда вы хотите сохранить баланс между точностью и отзывом или когда вы хотите больше сосредоточиться на ложноположительных, а также ложноотрицательных.
