Зачем нам нужна эта штука "РПЦ-АУК"?
При создании любой модели машинного обучения очень важно знать, хорошо ли работает наша модель. Поэтому у нас есть различные типы параметров, чтобы найти его. Например, мы можем использовать Accuracy, True Positive Rate, F1-score и т. д.
Когда мы говорим конкретно о проблемах классификации, мы знаем, что можем использовать градиентный спуск, чтобы получить лучшие параметры для нашей модели, но что, если мы хотим проверить или визуализировать, как наша модель работает с другими значениями параметров. А вот и модные словечки «РПЦ-ВК».
Что такое ROC?
Прежде всего, разберемся с терминологией. ROC означает рабочие характеристики приемника.
Кривая ROC создается путем построения графика TPR (истинная положительная частота) и FPR (ложноположительная частота) при различных значениях порогов.
Краткое резюме:
TPR просто означает, сколько из всех положительных результатов мы можем предсказать. FPR означает, что из всех данных негативов, сколько позитивов мы можем предсказать. то есть мы предсказывали его как положительный, но на самом деле он отрицательный.
Порог:порог — это значение, которое мы выбираем для прогнозирования в задаче классификации. Например, в логистической регрессии, если мы выбираем пороговое значение 0,5, чем если наш прогноз > 0,5, то он помечается как класс 1, а если прогноз
Возвращаясь к ROC, для разных значений порога мы можем получить разные значения TPR и FPR. Таким образом, мы можем выбрать значение порога, которое максимизирует наши показатели.
Как построить РПЦ?
- начать с порогового значения. напр. порог =0,1
- найти TPR и FPR для модели
- Повторите описанные выше шаги с другими пороговыми значениями, т.е. 0,1,0,2,0,3,…0,9,1,0, а также получить значения TPR и FPR.
- Постройте TPR и FPR. Это сюжет РПЦ.
Что такое АУК?
AUC – это площадь под кривой. Кривая здесь относится к кривой ROC. Таким образом, нам просто нужно найти площадь под кривой ROC, и это будет наша оценка AUC. Обратите внимание, что значение AUC должно быть больше 0,5, поскольку любое значение меньше 0,5 означает, что наша модель работает хуже всего.
Вы можете видеть, что это кривая ROC-AUC. По оси X у нас есть FPR, а по оси Y мы имеем TPR. Это все для ROC-AUC.
