Объяснение линейной регрессии в машинном обучении
Что такое линейная регрессия?
Линейная регрессия — это статистический метод, который позволяет нам обобщать и изучать отношения между количественными переменными. По сути, линейная регрессия помогает нам смоделировать, как изменения одного или нескольких входных данных влияют на результат. Выход обычно представляет собой непрерывную переменную, такую как время, цена и высота. В машинном обучении очень часто встречается линейная регрессия. В этой статье объясняется разница между статистикой и нотациями машинного обучения.
Почему линейная регрессия важна?
С помощью линейной регрессии мы оцениваем взаимосвязь между выходом (зависимой переменной) и одним или несколькими входами (независимыми переменными), чтобы помочь нам делать прогнозы. Например, врачу может быть интересно предсказать, будет ли рак рецидивировать у пациента, и сколько времени пройдет до рецидива болезни, учитывая характеристики типа опухоли.
Определение
Давайте посмотрим на жаргон, связанный с линейной регрессией:
- Предикторы, независимые переменные или входные данные
- Ответ, или зависимая переменная, или вывод
- Остаток — разница между наблюдаемым (реальным) значением и прогнозируемым значением зависимой переменной.
- Коэффициенты или Веса. Они рассчитываются для определения строки, которая лучше всего «соответствует» данным. В статистике обычно обозначается как β. В ML они обычно обозначаются как W или θ.
- Отклонение или пересечение – помогает компенсировать влияние отсутствия релевантных предикторов для ответа и помогает сделать среднее значение остатков равным 0. Отсечение или смещение действует как значение по умолчанию для функции, т. е. когда все независимые значения равны нулю.
Начнем с простой модели
Термин «линейный» относится к линии, в данном случае к прямой линии. Интуитивно мы знаем, что линия указывает на наличие связи между входами и выходами. Наклон линии обеспечивает скорость изменения выхода при заданном входе.
Чтобы помочь нам лучше понять, как работает линейная регрессия, давайте попробуем смоделировать взаимосвязь между одним предиктором и ответом, то есть простую линейную регрессию. Мы рассмотрим взаимосвязь между радиусом опухоли (предиктор) и временем до рецидива (реакцией).
Y = W₀ + W₁・X₁ + ε
Приведенное выше уравнение очень похоже на уравнение прямой (y = c + m・x), где
W0 эквивалентен точке пересечения с осью y (c), а W1 эквивалентен наклону линии (m), моделирующей взаимосвязь. Модель машинного обучения будет:
hw(x) = W₀ + W₁・X₁
Функция hw(x) прогнозирует время, необходимое для рецидива рака, исходя из радиуса опухоли X₁ и веса W₁.
Оптимизация линии наилучшего соответствия
Цель применения линейной регрессии в машинном обучении состоит в том, чтобы выбрать линию наилучшего соответствия, то есть линию, которая находится как можно ближе к точкам данных. Линия наилучшего соответствия находится путем минимизации функции стоимости, такой как функция среднеквадратичной ошибки (MSE).
Объяснение среднеквадратичной ошибки
Среднеквадратическая ошибка (MSE) рассчитывается с использованием следующего уравнения:
где N — количество точек данных (обучающих выборок). Таким образом, MSE можно рассматривать как среднее значение суммы всех квадратов остатков.
Функция стоимости/ошибки для машинного обучения
В машинном обучении мы используем функцию стоимости, которая очень похожа на MSE и обозначается как:
По сути, мы хотим найти оптимальное W, чтобы минимизировать функцию ошибкиJ(W). Количество примеров в обучающем наборе равно m. Мы вычитаем Yᵢ, фактическое значение, из hw(xᵢ), прогнозируемого значения, основанного на нашей модели, и возводим это число в квадрат. Мы сложим все эти числа вместе и возьмем 1/2 только для того, чтобы упростить выводы, которые последуют при градиентном спуске.
Эта минимизация функции стоимости происходит с помощью алгоритма, известного как алгоритм градиентного спуска. Алгоритм градиентного спуска можно понять, представив, что вы находитесь на вершине холма и вам нужно добраться до подножия холма. Звучит легко! Но что, если у вас завязаны глаза. Скорее всего, вы начнете ощупывать окрестности, чтобы найти спуск и двигаться в этом направлении, чтобы добраться до подножия холма. По сути, это то, что делает градиентный спуск. Он пытается достичь основания холма, то есть минимальной ошибки, двигаясь к нему путем вычисления производных функции стоимости.
Градиентный спуск, регуляризация и многое другое
Для более глубокого понимания того, как работает градиентный спуск, и наглядных примеров линейной регрессии в машинном обучении с техническими пояснениями, запишитесь на Изучение ИИ с помощью курса ИИ с Одри Дюран».
Серия «Машинное обучение в здравоохранении»
В этой серии статей мы исследуем использование машинного обучения в сфере здравоохранения. Важные концепции и алгоритмы охватываются реальными приложениями, включая открытые наборы данных, открытый код (доступный на Github), используемый для проведения анализа и получения окончательных результатов и идей.
