На прошлой неделе я рассмотрел метрики оценки для моделей бинарной классификации. Прогнозы этих бинарных моделей можно разделить на четыре группы: истинно положительные, ложноположительные, ложно отрицательные и истинно отрицательные, где рассматривается только один класс.

Когда добавляются дополнительные категории, появляются дополнительные группы, в которые могут попадать прогнозы. Способов расчета каждой оценочной метрики будет столько же, сколько и категорий. Ниже я расскажу о показателях оценки для этих типов моделей мульти-категориальной классификации.

Определение чувствительности и специфичности

Модели двоичной классификации можно оценивать с помощью показателей точности, полноты, точности и F1. Нам не нужно указывать, к какой группе относятся метрики, потому что у модели есть только два варианта на выбор; либо наблюдение принадлежит классу, либо нет, и модель может быть либо правильной, либо неправильной, отсюда четыре части матрицы неточностей. Когда в модели есть несколько категорий в качестве вариантов прогнозирования, мы должны рассчитать показатели, применимые для каждой категории.

Чувствительность - это показатель, который оценивает способность модели прогнозировать истинные положительные результаты каждой доступной категории. Специфичность - это показатель, который оценивает способность модели предсказывать истинное отрицание каждой доступной категории. Эти показатели применимы к любой категориальной модели. Уравнения для расчета этих показателей приведены ниже.

Возможно, вы заметили, что уравнение отзыва выглядит точно так же, как уравнение чувствительности. Когда использовать любой термин, зависит от поставленной задачи.

Расчет чувствительности и специфичности

Мульти-категориальная модель выше может предсказать класс A, B или C для каждого наблюдения. Эти показатели должны быть рассчитаны для каждой возможной категории, если существует более двух возможных вариантов прогноза. Расчеты чувствительности приведены ниже:

Специфика определяет способность модели предсказать, не принадлежит ли наблюдение к определенной категории. Это требует знания характеристик модели, когда наблюдение действительно относится к любой другой категории, кроме рассматриваемой. Ниже приведены расчеты на специфичность:

Резюме

Модель мульти-категориальной классификации может быть оценена по чувствительности и специфичности каждого возможного класса. Модель, которая отлично подходит для прогнозирования одной категории, может быть ужасной для других. Эти оценочные показатели позволяют нам анализировать модели для различных целей. Вы должны решить, какая метрика оценки лучше всего подходит для вашего проекта.