Линейная регрессия
Линейная регрессия – это статистический метод, который используется для поиска линейной зависимости между целевой/зависимой переменной (Y) и одним или несколькими предикторами/независимыми переменными (X). Линейную регрессию можно разделить на два типа. Простая линейная регрессия и Множественная линейная регрессия.
Простая линейная регрессия полезна при поиске взаимосвязи между двумя непрерывными переменными, где одна переменная является независимой переменной (X), а другая — зависимой переменной (Y). Линейная регрессия ищет статистическую связь, а не детерминированную связь.
Детерминированная связь — это когда переменная X может полностью предсказать переменную Y, т. е. они имеют идеальную связь. Например, можно легко предсказать угол в радианах, зная угол в градусах. В то время как статистическая связь фокусируется на приблизительной связи между переменными. Например, можно только приблизить стоимость продаж, учитывая стоимость инвестиций.
Линейная регрессия фокусируется на поиске линии, которая лучше всего соответствует данным, лучшая линия — это та, которая минимизирует общую ошибку прогноза. Возьмем пример: у нас есть набор данных о количестве отработанных часов и полученных учащимся оценках, здесь количество отработанных часов является независимой переменной (X), а полученные оценки — зависимой переменной (Y). Наша цель - предсказать оценки, полученные, когда для нового студента указано количество часов обучения.
Во-первых, используя обучающие данные, мы получаем линию регрессии, которая минимизирует ошибку, и, следовательно, мы получаем уравнение для наилучшей линии ели, которая будет иметь заданную форму.
Здесь β0 и β1 — коэффициенты, значения которых должны быть рассчитаны с использованием обучающих данных, чтобы получить наилучшую елочную линию, уменьшающую ошибку. Ошибка — это квадрат разницы между фактическим выходом и прогнозируемым выходом.
Для модели с одним предиктором
· Если β1 > 0, то X и Y имеют положительную связь, когда X увеличивается, Y также увеличивается.
· Если β1 ‹ 0, то X и Y имеют отрицательную связь, когда X увеличивается, Y уменьшается.
· Модель не должна учитывать ценности, выходящие за ее рамки.
Можно легко оптимизировать переменную коэффициента, используя метод градиентного спуска.
Что такое градиентный спуск?
Градиентный спуск — это алгоритм оптимизации, используемый для нахождения значений параметров (коэффициент, β0) функции (f), минимизирующих функцию стоимости (стоимость). Этот метод можно использовать, когда параметры не могут быть рассчитаны аналитически и должны быть найдены с помощью алгоритма оптимизации.
Рассмотрим график, который выглядит как большая чаша, это график функции стоимости (f). любая точка на поверхности графика является стоимостью текущих значений. В нижней части графика можно достичь минимума функций. Чтобы достичь минимума графика, нужно попробовать разные значения коэффициентов, оценить их стоимость и выбрать новые коэффициенты, стоимость которых несколько ниже.
Ниже приведены шаги для градиентного спуска:
1. Начните со случайного значения
2. Рассчитайте стоимость, подставив значения в функцию.
3. Рассчитайте производную/наклон функции стоимости.
4. Двигайтесь вниз по склону
5. Обновите значения коэффициентов.
6. Повторяйте процесс, пока не дойдете до нижней части графика.
Этот метод аналогичен скатыванию мяча с холма, когда мяч движется к подножию холма, как только мяч начинает подниматься на следующий уклон, он замедляется и снова начинает опускаться, пока не достигнет подножия холма.
Градиентный спуск работает со значением, известным как альфа или обычно известным как скорость обучения. Скорость обучения определяет, насколько коэффициент может изменяться при каждом обновлении. Необходимо поддерживать скорость обучения не слишком высокой и не слишком низкой. При более высокой скорости обучения градиентный спуск может не сойтись, а при более низкой скорости обучения градиентный спуск может занять очень много времени.
