Вам не нужно изучать TPR, FPR и множество других вещей, прежде чем изучать AUC.

AUC, или площадь под кривой ROC, - это показатель, широко используемый для оценки производительности модели.

В Интернете доступно множество ресурсов о AUC. Обычно они начинают с объяснения читателям истинных положительных моментов, чувствительности, ошибок типа I, II, FPR и т. Д. Многие из них хороши и подробно объясняют концепции, но некоторые концепции могут сбить с толку некоторых людей без аналитического опыта. Я хочу отметить, что на самом деле можно хорошо изучить AUC, не зная всех этих технических терминов.

Позвольте мне начать с простого примера, показывающего, как это сделать.

Предположим, компания, выпускающая кредитные карты, создает модель оценки риска, чтобы оценить, сможет ли клиент оплатить счет вовремя. Имеющиеся у них данные помечены: 1 означает, что клиент не может заплатить вовремя (рискованно), а 0 указывает на тех, кто платит вовремя. Вот как выглядит результат выборки из 20 записей (при условии, что нет повторяющихся оценок):

Давайте посмотрим, как мы можем построить кривую ROC из этих 20 записей. Начнем с рисования квадрата с (0,0) в нижнем левом углу и (1,1) в правом верхнем углу:

Затем в этих 20 записях у нас есть пять единиц и пятнадцать нулей, поэтому мы разделим ось y на 5 и ось x на 15:

Затем, от высоких до низких, соответствующие метки будут 1,1,0,1,0,0,…, давайте заменим 1 на «Вверх» и 0 на «Вправо», и мы получим новую последовательность: Вверх, Вверх, Вправо, Вверх, Вправо… Затем, начиная с точки (0,0), нарисуйте кривую на основе этих «Вверх» и «Вправо». One Up (или Right), один ход. Это кривая ROC. Область под ним - AUC.

Давайте сравним это с идеальной моделью. В идеальной модели любой «1» будет иметь более высокий балл, чем любой «0». В результате при ранжировании от высоких до низких оценок соответствующие метки будут 1,1,1,1,1,0,0,0,0,0,… и ROC будет

AUC - 1. Некоторые наблюдения:

  • Чтобы AUC была высокой, вам нужно, чтобы показывались больше "Up" перед "Right".
  • Это означает, что "1" должна стоять перед "0".
  • А это означает, что модель дает целям (записи с меткой 1) более высокие баллы, поэтому модель лучше.
  • AUC составляет от 0 до 1.
  • AUC - это показатель ранжирования (важен порядок оценок, но не само значение оценки).

Прежде чем я углублюсь в другие свойства ROC, я хотел бы показать несколько частных случаев.

Еще примеры

1. Ничья. Давайте немного изменим предыдущий пример, чтобы получить равные результаты. В этой группе (оценка 70) у нас три 0 и одна 1. Исправление, которое мы должны сделать, - объединить три «вправо» и одно «вверх» в один ход.

и новый ROC

Таким образом, если все оценки равны, ROC будет точно такой же, как x = y (AUC = 0,5).

2. Случайные догадки. Когда записи назначаются в случайном порядке, кривая ROC будет колебаться около x = y, а AUC составляет около 0,5.

3. Обратные оценки. Если мы изменим порядок оценок и пример в самом начале, мы получим новую кривую ROC, симметричную исходной кривой относительно точки (0,5, 0,5) [не симметричной относительно линии x = y!]. Новый AUC на единицу минус исходный AUC. Вот почему люди говорят, что когда у нас есть модель с AUC

Теперь давайте посмотрим, какую еще информацию мы можем извлечь из кривой ROC.

Характеристики

  1. Чем выше наклон секущей линии, тем выше коэффициент тегов (количество единиц по сравнению с общим количеством записей в группе). В приведенном ниже примере выбраны две оценочные группы, и группа с высокими оценками имеет более высокий коэффициент тегов и, следовательно, более высокий наклон секущей линии.

2. Вогнутость. Обычно кривая ROC для результатов, сгенерированных хорошими алгоритмами машинного обучения, вогнута вниз по всей области. Но если, к сожалению, у вас есть кривая, которая вогнута вверх на подынтервале, вы можете отменить оценки в этом конкретном интервале, чтобы повысить производительность (и рекомендуется также проверить данные моделирования).

3. Регион с высоким баллом / регион с низким баллом. Зеленое поле ниже содержит информацию о записях с более высокими оценками, а оранжевое поле содержит информацию о более низких оценках. Мы надеемся, что в зеленой области наклон секущей больше; в оранжевой области - чем меньше наклон, тем лучше.

AUC - не единственный способ измерения эффективности модели ранжирования. Иногда мы сосредотачиваемся только на том, хорошо ли работает модель в регионе с более высокими баллами.

Модель с низким AUC все еще имеет значения. Например, AUC для приведенной ниже кривой ROC составляет всего ~ 0,64, но у нее хорошая производительность на рекордах с высокими оценками.

4. Модельный ансамбль. Когда у нас есть несколько моделей в одном наборе данных, а формы ROC различаются (некоторые из них хороши в регионах с высокими оценками, некоторые - в регионах с низкими оценками), мы часто можем найти значения, комбинируя модели (упаковка или укладка) .