интуитивно
Интуитивно, как мы можем (лучше) понять логистическую регрессию
Логистическая регрессия и линейный дискриминантный анализ тесно связаны. Вот интуитивно понятный способ понять их и помочь нам определить Softmax Regression.
В моей предыдущей статье я представил 5 принципов классификации, которые помогли нам определить более 5 типов алгоритмов.
Интуиция, которую мы использовали для логистической регрессии, заключалась в том, чтобы «сгладить прямую линию». Функция сглаживания - это логистическая функция. Теперь, как мы можем лучше понять, как мы пришли к этой логистической функции?
Как и в предыдущей статье, мы объясним принцип для одномерной ситуации с синими и красными точками.
Как связаны LDA и логистическая регрессия
Чтобы объяснить LDA (линейный дискриминантный анализ), идея состоит в том, чтобы сначала построить два нормальных распределения. Для новой точки x мы можем рассмотреть:
- PDF_b (x) с PDF_b: функция плотности вероятности синих точек и
- PDF_r (x) с PDF_r: функция плотности вероятности красных точек
- p (B): доля синих точек.
- p (R): доля красных точек.
Окончательная вероятность того, что новая точка станет синей, равна:
p (B) × PDF_b (x) / (p (B) × PDF_b (x) + p (R) × PDF_r (x))
Теперь посмотрим на обычный PDF-файл:
Поскольку мы считаем, что в случае LDA стандартное отклонение одинаково для двух классов, то мы можем упростить, и член x² исчезнет, поэтому мы называем это линейным дискриминантным анализом.
Если мы не примем гипотезу гомоскедастичности (что означает одинаковое стандартное отклонение для двух классов), член x² останется, и алгоритм будет называться квадратичный дискриминантный анализ.
Итак, для LDA мы получаем что-то вроде:
1 / (1 + ехр (ах + Ь))
Да, это логистическая функция!
Конечно, параметры a и b отличаются от реальной логистической регрессии.
Мы можем сравнить результаты, и в этой ситуации мы можем увидеть, что результаты на самом деле очень близки (зеленая кривая - это логистическая регрессия, а черная кривая - LDA).
Вывод: LDA и логистическая регрессия дают окончательную вероятность, которая является логистической функцией. Единственная разница между двумя подходами заключается в том, что
- Логистическая регрессия использует максимальное правдоподобие для оценки параметров.
- LDA, параметры берутся из оценочного среднего и отклонения от нормального распределения и пропорций каждого класса (априорная вероятность).
Упростите обычный PDF
Поскольку мы знаем, что x² в нормальном PDF исчезнет в рамках гипотезы гомоскедастичности, возможно, мы сможем напрямую избавиться от него в самом начале.
Таким образом, мы можем непосредственно рассмотреть:
Мы можем протестировать некоторые параметры, чтобы нарисовать кривые. Начнем с синей кривой fb (x):
- для начала можно положить a_b = 1 (параметр a для синих точек)
- для b_b мы можем сказать, что кривая должна проходить точку (x = среднее значение синих точек, y = 1)
И считаем, что для красной кривой ситуация симметрична:
- a_r =-1
- и красная кривая должна пройти точку (x = среднее значение красных точек, y = 1)
Расчет соотношений
Когда мы вычисляем коэффициент, чтобы получить окончательную вероятность
У нас также есть логистическая функция.
Ниже мы видим соотношение (черная линия). Помните, что параметры a и b здесь выбираются вручную.
Но даже при этом мы видим, что на самом деле в данной ситуации все не так уж и плохо. Зеленая линия на графике ниже - это модель логистической регрессии, а черная линия - это соотношение, рассчитанное с нашими вручную выбранными параметрами.
Вывод: логистическая регрессия - это нормализованная экспоненциальная функция (определяется двумя классами).
Softmax регрессия
С интуицией «сглаживания прямой» нелегко сделать обобщение для ситуации с несколькими классами прогнозирования. Но с идеей нормализованной экспоненциальной функции мы можем добавить больше классов.
Для K классов мы можем рассмотреть эту нормированную экспоненциальную функцию, чтобы оценить вероятность принадлежности x к классу j.
Вот график с 3 классами
Это называется softmax regression, и теперь вы знаете, что за этим причудливым названием скрывается очень простое обобщение логистической регрессии.
Поскольку вы знаете, что логистическая регрессия очень близка к LDA, результат регрессии softmax должен быть близок к многоклассовому LDA, как показано на графике ниже:
Если вы обнаружите что-то недостаточно интуитивно понятное или у вас есть какие-либо вопросы, прокомментируйте, это поможет мне улучшить мои тексты.