Линейная регрессия. Почему она важна для машинного обучения?

Вы никогда не задумывались, почему каждый курс по науке о данных начинается с линейной регрессии? Узнаем ответ на этот вопрос в статье.

Линейная регрессия – это простая, базовая, но весьма эффективная модель регрессии. Этот алгоритм помогает создать прочную основу для того, чтобы мы поняли, что делает регрессия в машинном обучении и как делать прогнозы, предоставляя различные входные данные для модели. Например, если мы предоставим различные независимые переменные, такие как возраст, опыт и образование, насколько эффективно это может предсказать заработную плату (зависимую переменную) сотрудника. Регрессии весьма полезны в машинном обучении, поскольку они помогают делать прогнозы в непрерывном масштабе для целевой переменной.

Линейная регрессия основана на технике контролируемого машинного обучения, а другие алгоритмы регрессии являются расширением линейной регрессии. Таким образом, становится все более важным иметь четкое представление об этом алгоритме машинного обучения. Далее он делится на две части: 1) Простая линейная регрессия2) Множественная линейная регрессия.

Пример, который я продемонстрировал выше для прогнозирования заработной платы на основе трех входных данных, — это множественная линейная регрессия, и если я хочу сделать прогноз заработной платы на основе одной переменной, например. Возраст, который считается простой линейной регрессией. Это помогает прогнозировать количественный ответ на основе независимых переменных или только одной независимой переменной.

Модели регрессии помогают предоставить информацию об ассоциациях между двумя переменными, которые являются зависимыми и независимыми, что означает, насколько изменение независимой переменной может эффективно изменить значения зависимой переменной.

Основываясь на том же примере заработной платы для простой линейной регрессии, мы можем оценить нашу целевую или зависимую переменную на основе параметра возраста, который мы можем обозначить с помощью приведенного ниже уравнения.

Y=B0 + B1x

где B0 — точка пересечения, B1 — наклон, а x — наша точка данных. Приведенное выше уравнение очень похоже на линейное уравнение, которое y = mx+c в линейной алгебре. Здесь, в линейной регрессии, мы также пытаемся создать линию наилучшего соответствия на основе прогнозов после ввода данных в модель.

Мы предоставляем входные данные из обучающих данных для модели и собираемся оценить значения B0 и B1, которые известны как коэффициенты или параметры модели. Для расчета прогнозируемого значения в приведенном выше уравнении произойдет небольшое изменение, которое будет обозначаться через

Y’=B’0+B’1x1

Это уравнение поможет создать линию наилучшего соответствия, что означает, что линия наилучшего соответствия, которую мы пытаемся создать, или прогнозируемые значения должны быть как можно ближе к наблюдаемым точкам данных. Процедура нахождения линии наилучшего соответствия основана на методологии метода наименьших квадратов, где кривая будет иметь минимальную сумму квадратов невязок.

Чтобы рассчитать остатки или ошибки, которые означают разницу между реальным значением и прогнозируемыми значениями, которые рассчитываются с помощью приведенного ниже уравнения.

ei=yi-y’i

Рассчитывается расстояние (т. е. разница между наблюдаемыми значениями и прогнозируемыми значениями), и это расстояние иногда может быть как положительным, так и отрицательным. Таким образом, чтобы решить проблему с отрицательными значениями, мы возведем в квадрат значения и проведем суммирование ошибок или остатков, известное как остаточная сумма квадратов. Это наш первый шаг, где мы будем возводить в квадрат, на втором шаге мы делим сумму квадратов значений на общее количество наблюдений, чтобы мы могли найти средние значения ошибок, и наша функция стоимости для линейной регрессии будет такой.

Наша главная цель — уменьшить эту функцию стоимости, изменив значения параметров линейной регрессии B0 и B1, что помогает достичь нашей цели линия наилучшего соответствия.

Минимизировать функцию стоимости можно с помощью градиентного спуска, регулируя значения B0 и B1. Это помогает достичь цели глобальные минимумы с помощью повторяющихся итераций, или мы также можем сказать, что градиентный спуск помогает найти направление, которое помогает достичь цели с наименьшими возможными ошибками. Этот градиентный спуск можно представить себе как катящийся с холма мяч.

Шаги или скорость, которые мы предпринимаем для достижения этого глобального минимума, определяются скоростью обучения и обозначаются α. Уравнение градиентного спуска приведено ниже: -

В уравнении мы пытаемся найти направление, в котором мы можем достичь этих глобальных минимумов, и в каком направлении ошибки последовательно уменьшаются. В приведенном выше уравнении мы находим небольшую разницу между ошибками, наблюдая производное значение функции стоимости (обозначаемое через J) и вычитая его из предыдущего значения градиентного спуска.

Это также поможет обновить значение B1, которое мы пытаемся найти, и поможет минимизировать ошибки с помощью приведенного выше уравнения.

Итак, в статье мы узнали о линейной регрессии и рассмотрели связанные с ней темы, такие как остаточная сумма квадратов, функция стоимости, градиентный спуск и скорость обучения. Некоторые из более поздних тем, такие как функция стоимости, скорость обучения, градиентный спуск и глобальные минимумы, также будут применяться в глубоком обучении. Таким образом, чтобы укрепить нашу основу для более продвинутых алгоритмов машинного обучения, важно тщательно изучить линейную регрессию.

Надеюсь, вам понравилось читать эту статью, и если да, то подпишитесь на другие блоги, связанные с наукой о данных.