Теперь логистическая регрессия и полиномиальная регрессия называются алгоритмами дискриминантного обучения , которые напрямую изучают p(y|x).

Наивный байесовский анализ и линейный/квадратичный дискриминантный анализ называются генеративными алгоритмами обучения, которые пытаются моделировать p(x|y) и p(y). Они используют правило Байеса для получения p(y|x).

Дискриминантный анализ

Дискриминантный анализ стремится моделировать распределение X в каждом из классов отдельно. Теорема Байеса используется для переворачивания условных вероятностей для получения P (Y | X). Подход может использовать различные распределения для каждого класса. Обсуждаемые методы будут сосредоточены на нормальных распределениях.

Линейный дискриминантный анализ:

При линейном дискриминантном анализе предполагается, что ковариационные матрицы Σ одинаковы для всех групп ответов.

Для p(количество независимых переменных) = 1:

Вспомните PDF-файл для распределения Гаусса:

потом

где πk=P(Y=k).

Упрощайте, беря журналы и упрощая

Поскольку цель состоит в том, чтобы максимизировать, удалите все константы (члены, которые не зависят от kk), чтобы получить оценку дискриминанта

Присвойте xx классу с наибольшим значением дискриминанта.

Для p › 1:

PDF для многомерного распределения Гаусса:

Дискриминантная функция

Этот метод предполагает, что ковариационная матрица Σ одинакова для каждого класса.

Оцените параметры модели с помощью обучающих данных.

Вычислите апостериорные вероятности класса с дискриминантной функцией

Границы решений графически представлены как

Примечание. Функция принятия решения

в случае двух случаев при вычитании за два класса дают

дает границу решения, когда w.x +a = 0. [Эффект «w · x + a» заключается в масштабировании и переводе логистического fn в x-пространство. Это линейное преобразование.]

Перевод апостериорных вероятностей в логистическую/сигмовидную функцию

Квадратичный дискриминантный анализ

В квадратичном дискриминантном анализе не делайте предположения, что ковариационная матрица Σk одинакова для каждого класса.

Это изменяет дискриминантную функцию на

Границы решения графически представлены как

Обратите внимание, что мы можем получить коэффициенты в качестве выходных данных при реализации LDA, что просто означает, что значение coeff*variable для каждого наблюдения дает правило принятия решения, если тогда есть только две метки класса?

Пожалуйста, проверьте NAIVE BAYES для генеративного алгоритма классификации.

Логистическая регрессия против дискриминантного анализа против наивного байесовского анализа

Лучше всего использовать логистическую регрессию:

  • Более устойчив к отклонениям от предположений моделирования (негауссовские признаки)

Лучше всего использовать дискриминантный анализ:

  • Когда можно сделать предположение, что признаки являются гауссовыми
  • Более эффективен, чем логистическая регрессия, когда предположения верны
  • Работает лучше, чем логистическая регрессия, когда данные хорошо разделены
  • Популярен для полиномиальных ответов, поскольку обеспечивает низкоразмерное представление данных.

Лучше всего использовать наивный байесовский метод:

  • Может сделать предположение, что функции независимы (зависит от ответа)
  • Несмотря на сильные предположения, хорошо работает на многих проблемах

Ресурсы:

https://people.eecs.berkeley.edu/~jrs/189/lec/07.pdf

http://jennguyen1.github.io/nhuyhoa/statistics/Discriminant-Analysis-Naive-Bayes.html