Я считаю, что это общая тема. Тем не менее, я делюсь тем, как я понял эти концепции, потому что мне потребовалось некоторое время, чтобы понять эти концепции.

Во-первых, я начну с матрицы путаницы, также известной как матрица ошибок. Это фундаментальная концепция для понимания в области машинного обучения.

  • Матрица путаницы отображает количество истинных положительных, истинных отрицательных, ложноположительных и ложноотрицательных результатов при определенном количестве точек входных данных (обычно n)

На изображении выше n – это точки входных данных. Здесь у нас есть 2 класса:

  • Фактический №: Класс 1
  • Фактически да: класс 2

Матрица путаницы помогает понять точность и отзыв вашей модели. Как? Я вернусь к этому. Давайте поговорим о точности и отзыве.

Точность и отзыв — это просто разные показатели для измерения «успеха» или производительности обученной модели.

Точность показывает, насколько часто модели корректны, когда они предсказывают положительную метку. Это количество истинных срабатываний (в данном случае) по сравнению с всеми положительными результатами, и оно будет тем выше, чем меньше количество ложных срабатываний. Формула: Tверные положительныеположительные результаты (TP) превышают общее количество прогнозируемых положительных результатов (TP + FP). FP означает Fложно положительно.

Ложное срабатывание — это случай, когда модель неправильно указывает на наличие условия.

В примере фактическое значение равно Нет, но модель предсказала Да.

Таким образом, в приведенном выше примере это будет 45 на 60 (где 45 — это TP, а FP — 15 = 60) для Точность составляет 75 процентов.

Напомнить показывает, сколько из Tверных положительных положительных результатов предсказывала ваша модель. Формула: Tверные положительные по сравнению с общими реальными положительными (TP + FN). Это количество истинных положительных результатов по сравнению с истинными положительными плюс ложноотрицательными и будет выше, когда количество ложноотрицательных результатов невелико.

Ложноотрицательный означает, что модель ошибочно не указывает наличие условия, когда оно присутствует. (прочитайте ошибку типа I и II)

Таким образом, это 45 из 50, что соответствует 90-процентному показателю отзыва.

Возвращаясь к тому, что я сказал ранее, как матрица путаницы помогает вам понять точность и полноту вашей модели?

Просто это помогает, подсчитывая истинные и ложные положительные результаты, а также истинные и ложные отрицательные результаты.

Далее поговорим о F1-Score.

Оценка F1 представляет собой сочетание точности и полноты. Поскольку часто приходится идти на компромиссы и стремиться к более высокой точности или лучшему отзыву, вы можете стремиться увеличить балл F1.

Формула показана на изображении ниже.

Максимальная оценка F1 равна 1, что указывает на идеальную точность и полноту, а самая низкая возможная оценка равна 0.

В примере, приведенном в начале статьи, оценка F1 для примера составляет примерно 0,83.

Спасибо за чтение.