интуитивно

Интуитивно, как мы можем (лучше) понять логистическую регрессию

Логистическая регрессия и линейный дискриминантный анализ тесно связаны. Вот интуитивно понятный способ понять их и помочь нам определить Softmax Regression.

В моей предыдущей статье я представил 5 принципов классификации, которые помогли нам определить более 5 типов алгоритмов.

Интуиция, которую мы использовали для логистической регрессии, заключалась в том, чтобы «сгладить прямую линию». Функция сглаживания - это логистическая функция. Теперь, как мы можем лучше понять, как мы пришли к этой логистической функции?

Как и в предыдущей статье, мы объясним принцип для одномерной ситуации с синими и красными точками.

Как связаны LDA и логистическая регрессия

Чтобы объяснить LDA (линейный дискриминантный анализ), идея состоит в том, чтобы сначала построить два нормальных распределения. Для новой точки x мы можем рассмотреть:

  • PDF_b (x) с PDF_b: функция плотности вероятности синих точек и
  • PDF_r (x) с PDF_r: функция плотности вероятности красных точек
  • p (B): доля синих точек.
  • p (R): доля красных точек.

Окончательная вероятность того, что новая точка станет синей, равна:

p (B) × PDF_b (x) / (p (B) × PDF_b (x) + p (R) × PDF_r (x))

Теперь посмотрим на обычный PDF-файл:

Поскольку мы считаем, что в случае LDA стандартное отклонение одинаково для двух классов, то мы можем упростить, и член x² исчезнет, ​​поэтому мы называем это линейным дискриминантным анализом.

Если мы не примем гипотезу гомоскедастичности (что означает одинаковое стандартное отклонение для двух классов), член x² останется, и алгоритм будет называться квадратичный дискриминантный анализ.

Итак, для LDA мы получаем что-то вроде:

1 / (1 + ехр (ах + Ь))

Да, это логистическая функция!

Конечно, параметры a и b отличаются от реальной логистической регрессии.

Мы можем сравнить результаты, и в этой ситуации мы можем увидеть, что результаты на самом деле очень близки (зеленая кривая - это логистическая регрессия, а черная кривая - LDA).

Вывод: LDA и логистическая регрессия дают окончательную вероятность, которая является логистической функцией. Единственная разница между двумя подходами заключается в том, что

  • Логистическая регрессия использует максимальное правдоподобие для оценки параметров.
  • LDA, параметры берутся из оценочного среднего и отклонения от нормального распределения и пропорций каждого класса (априорная вероятность).

Упростите обычный PDF

Поскольку мы знаем, что x² в нормальном PDF исчезнет в рамках гипотезы гомоскедастичности, возможно, мы сможем напрямую избавиться от него в самом начале.

Таким образом, мы можем непосредственно рассмотреть:

Мы можем протестировать некоторые параметры, чтобы нарисовать кривые. Начнем с синей кривой fb (x):

  • для начала можно положить a_b = 1 (параметр a для синих точек)
  • для b_b мы можем сказать, что кривая должна проходить точку (x = среднее значение синих точек, y = 1)

И считаем, что для красной кривой ситуация симметрична:

  • a_r =-1
  • и красная кривая должна пройти точку (x = среднее значение красных точек, y = 1)

Расчет соотношений

Когда мы вычисляем коэффициент, чтобы получить окончательную вероятность

У нас также есть логистическая функция.

Ниже мы видим соотношение (черная линия). Помните, что параметры a и b здесь выбираются вручную.

Но даже при этом мы видим, что на самом деле в данной ситуации все не так уж и плохо. Зеленая линия на графике ниже - это модель логистической регрессии, а черная линия - это соотношение, рассчитанное с нашими вручную выбранными параметрами.

Вывод: логистическая регрессия - это нормализованная экспоненциальная функция (определяется двумя классами).

Softmax регрессия

С интуицией «сглаживания прямой» нелегко сделать обобщение для ситуации с несколькими классами прогнозирования. Но с идеей нормализованной экспоненциальной функции мы можем добавить больше классов.

Для K классов мы можем рассмотреть эту нормированную экспоненциальную функцию, чтобы оценить вероятность принадлежности x к классу j.

Вот график с 3 классами

Это называется softmax regression, и теперь вы знаете, что за этим причудливым названием скрывается очень простое обобщение логистической регрессии.

Поскольку вы знаете, что логистическая регрессия очень близка к LDA, результат регрессии softmax должен быть близок к многоклассовому LDA, как показано на графике ниже:

Если вы обнаружите что-то недостаточно интуитивно понятное или у вас есть какие-либо вопросы, прокомментируйте, это поможет мне улучшить мои тексты.