Линейная регрессия - один из простейших алгоритмов машинного обучения с точки зрения реализации и интерпретируемости. Тем не менее, в определении коэффициентов регрессии все еще существует поворот.

Обычно существует 3 различных метода оценки неизвестных параметров, а также оптимизации функции стоимости. Эти методы следующие:

Математическая модель линейной регрессии может быть выражена как:

y = b0 + b1*x + ε

Здесь,

y = Зависимая переменная (ЗВ): переменная, которую мы пытаемся объяснить с помощью нашей регрессионной модели. Проще говоря, переменная, которую мы пытаемся понять или интерпретировать на основе ее зависимости от других переменных.

x = независимая переменная (IV): переменная , вызывающая изменение зависимой переменной.

b1 = Коэффициент независимой переменной: коэффициент, с помощью которого изменение единицы измерения в независимой переменной влияет на зависимую переменную.

b0 = Константа: значение по умолчанию для зависимой переменной, если эффект независимой переменной равен 0.

ε = срок ошибки

  1. Обычный метод наименьших квадратов (OLS):

Идея линейной регрессии состоит в том, чтобы найти параметры b0 и b1, для которых минимизируется ошибка. Чтобы быть более точным, процедура обыкновенного наименьшего квадрата стремится минимизировать сумму квадратов остатков (разность между наблюдаемым значением зависимой переменной (y) и прогнозируемым значением ()).

Функция предоставляет наилучшие возможные значения для b0 и b1, чтобы сделать линию наилучшего соответствия для точек данных. Мы делаем это, преобразовывая эту задачу в задачу минимизации, чтобы получить наилучшие значения для b0 и b1. В этой задаче ошибка сводится к минимуму между фактическим значением и прогнозируемым значением.

Мы возводим в квадрат разность ошибок и суммируем ошибку по всем точкам данных, то есть деление между общим количеством точек данных. Затем полученное значение представляет собой усредненную квадратную ошибку по всем точкам данных. Он также известен как MSE (среднеквадратичная ошибка), и мы изменяем значения b0 и b1 так, чтобы значение MSE было установлено на минимальном уровне.

2. Градиентный спуск:

Когда есть один или несколько входных данных, вы можете использовать процесс оптимизации значений коэффициентов, итеративно минимизируя ошибку модели в ваших обучающих данных. Эта операция называется градиентным спуском и работает, начиная со случайных значений для каждого коэффициента. Сумма квадратов ошибок вычисляется для каждой пары входных и выходных значений. Скорость обучения (параметр альфа, который определяет размер шага улучшения, который необходимо предпринять на каждой итерации процедуры) используется в качестве масштабного коэффициента, и коэффициенты обновляются в направлении минимизации ошибки. Чтобы обновить коэффициенты, мы берем градиенты из функции стоимости. Чтобы найти эти градиенты, мы берем частные производные по коэффициентам. Процесс повторяется до тех пор, пока не будет достигнута минимальная квадратичная ошибка суммы или пока не станет невозможным дальнейшее улучшение.

Скажем, если уравнение регрессии обозначено как:

L = W*x + b

Обновление коэффициентов происходит следующим образом:

3. Регуляризация:

Методы регуляризации стремятся как минимизировать сумму квадратов ошибок модели на обучающих данных (с использованием обычных наименьших квадратов), так и уменьшить сложность модели. Два популярных примера процедур регуляризации для линейной регрессии:

а. Регрессия лассо: здесь обыкновенные наименьшие квадраты модифицируются или штрафуются, чтобы минимизировать абсолютную сумму коэффициентов (так называемая регуляризация L1).

б. Регрессия гребня: здесь обыкновенные наименьшие квадраты модифицируются или штрафуются, чтобы минимизировать возведенную в квадрат абсолютную сумму коэффициентов (так называемая регуляризация L2).

Эти методы регуляризации эффективны для использования, когда во входных значениях присутствует мультиколлинеарность, а обычные методы наименьших квадратов могут превосходить обучающие данные.