Есть несколько показателей, с помощью которых мы можем оценить модель логистической регрессии.
1) AIC (информационные критерии Акаике)
2) Матрица путаницы
3) Кривая ROC
4) Нулевая девиация и остаточная девиация
Чтобы понять эту тему, возьмем пример одной модели логистической регрессии и ее результатов.
Набор данных
Этот набор данных описывает способность людей писать страницы в соответствии с их возрастом.
Теперь, чтобы проверить и сравнить эти результаты, мы изменим некоторые данные этого набора данных.
1) AIC (информационные критерии Акаике)
Основная ЦЕЛЬ AIC состоит в том, чтобы сравнить разные модели и найти наиболее подходящую модель из данных различных моделей. Для этого мы должны создать набор разных моделей, используя разные параметры в зависимости от данных. После этого мы можем использовать AIC для сравнения этих моделей.
Низкий AIC означает, что модель хороша, поэтому, сравнивая разные модели, мы можем выбрать наиболее подходящую модель. Если 2 модели имеют одинаковый AIC, то модель с меньшим количеством параметров может считаться более подходящей. AIC использует понятие максимального правдоподобия. AIC рассчитывается по следующей формуле:
AIC = 2p - 2 (логарифмическая вероятность)
Здесь p - количество параметров, а логарифм правдоподобия - это мера соответствия модели. Чем выше число, тем лучше подходит.
И здесь, как вы можете видеть, AIC составляет 26,367 для окончательной модели.
Теперь после изменения параметров 18,19,20 получится,
Здесь значение AIC составляет 34,404, что больше по сравнению с нашей предыдущей моделью, означает, что эта модель не очень хороша по сравнению с нашей предыдущей моделью.
2) Матрица неточностей
Матрица неточностей - это метод, используемый для обобщения алгоритма классификации на множестве тестовых данных, истинные значения которых известны ранее. Иногда это также называют матрицей ошибок.
Матрица путаницы будет выглядеть так,
P = положительный; N = отрицательный; TP = истинно положительный; FP = ложноположительный результат; TN = истинно отрицательный; FN = ложноотрицательный.
Истинно положительный: TP означает, что модель предсказала "да", и правильный ответ на этот вопрос также "да".
Верно отрицательное значение: TN означает, что модель не предсказала, и правильный ответ на этот вопрос также отрицательный.
Ложноположительный: FP означает, что модель предсказала да, но фактический ответ - нет.
Ложноотрицательный: FN означает, что модель предсказала нет, но фактический ответ - да.
Итак, есть список ставок, рассчитанных по этой матрице.
1) Точность = (TP + TN / Total) говорит о том, насколько верен классификатор в целом.
2) Истинно положительный показатель = TP / (фактическое «да»), он говорит о том, сколько времени «да» предсказано правильно. Это также называется «чувствительностью» или «отзывом».
3) Коэффициент ложных срабатываний = FP / (фактическое число), он говорит о том, сколько времени прогнозируется "да", когда фактический ответ "нет".
4) Истинный отрицательный коэффициент = TN / (фактическое число), он говорит о том, сколько времени "нет" предсказано правильно, и фактический ответ также "нет". это также известно как «специфичность»
5) Коэффициент ошибочной классификации = (FP + FN) / (Total), он также известен как коэффициент ошибок и показывает, как часто наша модель ошибается.
6) Точность = (TP / (прогнозируемое «да»)), если прогнозируемое значение «да», то как часто оно является правильным?
7) Распространенность = (фактическое «да» / всего) как часто действительно / фактически возникает состояние «да».
Ценность фактических данных составляет
Теперь, вычислив матрицу путаницы, наша модель получит
Здесь мы видим, что наша модель предсказывает правильность на 78,33%. Теперь давайте найдем то же самое для нашей 2-й модели, где я изменил значение параметра 18, 19,20,
Фактические данные будут,
И матрица путаницы будет,
Ясно видно, что первая модель более точна по сравнению со второй.
3) Кривая ROC (рабочие характеристики приемника)
Кривая рабочих характеристик ROC-приемника поможет суммировать производительность модели, вычислив компромисс между скоростью TP (чувствительность) и скоростью FN (специфичность 1), и построит эти 2 параметра. Для классификации этого термина вводится AUC (Площадь под кривой), который дает сводку кривой ROC.
AUC просто означает, что область, расположенная под кривой на графике ниже, область синего цвета называется AUC.
Чем выше AUC, тем лучше производительность классификатора. Кривая ROC может выглядеть так:
AUC классифицируется на следующей основе. Если AUC = 1, то классификатор может правильно различать все положительные и отрицательные точки класса.
1) Если AUC = 0, тогда классификатор предсказывает все положительное как отрицательное, а отрицательное как положительное.
2) Если 0,5 ‹AUC‹ 1 означает, что классификатор будет отличать положительное значение класса от отрицательного значения класса, потому что он обнаруживает большее количество TP и TN по сравнению с FP и FN.
3) Если AUC = 0,5, это означает, что классификатор не может различать положительные и отрицательные значения.
Таким образом, мы можем сделать вывод, что чем выше значение AUC, тем лучше его способность различать положительные и отрицательные классы.
Теперь давайте найдем значение AUC для обеих моделей и сравним его. ROC для первой модели:
ROC для второй модели,
Здесь мы видим, что значение AUC в первой модели составляет 0,899, а во второй - 0,510, что означает, что наша первая модель хороша по сравнению с нашей второй моделью, и в первой модели она предсказывает некоторые отрицательные значения как положительные, а во второй - очень близкое к 0,5 означает, что наш классификатор не может различать положительные и отрицательные значения.
4) Нулевое отклонение и остаточное отклонение
Отклонение - это мера согласия обобщенной линейной модели. В частности, нулевое отклонение представляет собой разницу между моделью без предиктора или с 1 предиктором и насыщенной моделью. Он предоставит базовую модель, с помощью которой мы сможем сравнивать другие модели предикторов. Итак, математически мы можем сказать
Насыщенная модель предполагает, что у нас есть n параметров для оценки.
Нулевое отклонение = 2 (LL (насыщенная модель)) - LL (нулевая модель)
Если мы получаем очень маленькое значение нулевого отклонения, значит, наша модель очень хорошо объясняет наш набор данных.
Остаточное отклонение
Остаточное отклонение говорит о различии предлагаемой модели и насыщенной модели.
Предлагаемая модель предполагает, что у нас есть p параметров + точки пересечения, которые необходимо оценить.
Итак, математически мы можем сказать:
Остаточное отклонение = 2 (LL (насыщенная модель)) - LL ((предлагаемая модель))
То же, что и нулевое отклонение, если мы получаем очень маленькое значение остаточного отклонения, тогда наша модель подходит для данного набора данных.
Резюме для предлагаемой модели:
Теперь, если мы посчитаем остаточное отклонение, то это будет
=-18.367+5.4975 = -12.8695
Теперь о второй модели
Остаточное отклонение = -26,404 + 5,4975 = -20,9065, если мы игнорируем знак, то значение для первой модели меньше значения второй, что означает, что наша 1-я модель лучше подходит по сравнению со второй моделью.
Наконец, мы можем сказать, что это зависит от разработчика модели, какой метод он / она хочет использовать, а также зависит от нашего типа данных.
Использованная литература:
