Машинное обучение, Математика
Логистическая регрессия с математикой
Вступление
Логистическая регрессия - это вездесущий и широко используемый алгоритм классификации. Это классификационная модель, очень простая в использовании, и ее производительность превосходна в линейно разделяемых классах. Это основано на вероятности принадлежности выборки к классу. Здесь вероятности должны быть непрерывными и ограниченными между (0, 1). Решение, которое называется сигмоидной или логистической функцией, зависит от пороговой функции.
Чтобы понять концепцию логистической регрессии, важно понимать концепцию Odd Ration (OR), Logit function, сигмовидной функции или логистической функции и Кросс-энтропия или потеря журнала.
Соотношение шансов (OR)
Коэффициент шансов (OR) - это шансы в пользу конкретного события. Это мера связи между воздействием и результатом.
Пусть X - это вероятность пострадавших субъектов, а Y - вероятность того, что субъекты не затронуты, тогда шансы = X / Y
Формула отношения шансов:
Возьмем диапазон вероятности от 0 до 1. Скажем ...
Шансы - это соотношение вероятности успеха и вероятности неудачи.
Заявление о проблеме
Предположим, что 7 из 10 мальчиков принимаются в Data Science, а 3 из 10 девочек принимаются. Определить вероятность того, что мальчики будут приняты в Data Science?
Решение
Допустим, P - это вероятность допуска, а Q - вероятность отказа.
Вероятность мальчиков:
Вероятности девочек:
Теперь посчитайте шансы поступления как для мальчиков, так и для девочек:
Итак, соотношение шансов для поступления в Data Science:
Вывод: - для мальчика шанс быть принятым составляет 5,44.
Функция логита
Функция логита - это логарифм отношения нечетности (log-odds). Он принимает входные значения в диапазоне от 0 до 1, а затем преобразует их в значения во всем диапазоне действительных чисел.
Возьмем P как вероятность, тогда P / (1-P) - соответствующие шансы; логит вероятности - это логарифм нечетного числа, указанного ниже:
Перед примером функции логита давайте возьмем уравнение логистической регрессии и свяжемся с функцией логита, чтобы найти вероятность:
Возьмем для примера автомобиль, будет он продаваться или нет?
Итак, уравнение:
So,
И, наконец, с функцией логита
Заявление о проблеме
Допустим, есть машина по цене 45 000 долларов с дополнительной функцией, которая называется розовая квитанция. Определить вероятность продажи этой машины?
Решение
Напишем уравнение: машина будет продаваться или нет?
Теперь введите значения коэффициентов, как показано ниже:
So,
Следовательно,
Следовательно, вероятность продажи автомобиля составляет 76,4%.
Логистическая функция или сигмовидная функция
Функция, обратная логит-функции, называется логистической функцией или сигмоидной функцией. Она названа сигмовидной функцией из-за ее характерной формы.
Уравнение сигмовидной функции (из логит-функции):
Сигмоидальная функция принимает на вход действительные числовые значения и преобразует их в значения в диапазоне [0, 1] с перехватом ∮ (Z) = 0,5.
Кросс-энтропия или потеря журнала
Кросс-энтропия обычно используется для количественной оценки разницы между двумя распределениями вероятностей. Это используется в логистической регрессии.
Or
Ее также называют функцией логарифма правдоподобия.
Заключение
База логистической регрессии зависит от различных вероятностных уравнений, таких как соотношение шансов, сигмовидная функция и т. Д. Эту модель классификации очень легко реализовать и она очень хорошо работает в линейно разделяемых классах.
