Какой дорогой мир!!! Даже для реализации простой линейной регрессии нам нужно думать о стоимости. Да, Функция стоимости !! ❤
В этом блоге давайте разберемся, когда использовать нормальное уравнение и когда использовать градиентный спуск?
Градиентный спуск:
Градиентный спуск — это алгоритм оптимизации, который можно использовать в любой задаче машинного обучения, он используется для нахождения значения параметра (коэффициента) функции, которое минимизирует стоимость. Проще говоря, градиентный спуск снижает стоимость, выбирая тета (коэффициент).
- Выбор α — скорость обучения очень важна (если α маленькое, оно может сойтись, если большое — перескочить).
- Требуется итерация, устанавливающая значение θ на каждой итерации.
3. Масштабирование функций важно
Нормальное уравнение:
Нормальное уравнение — это еще один способ выбрать θ без градиентного спуска. Is подход — это аналитический подход к вычислению θ с переменными X (независимой) и y (зависимой).
- Не нужно выбирать α — скорость обучения
- Итерация не требуется
- Масштабирование функций также не требуется в некоторой степени
Давайте сначала разберемся с нормальным уравнением,
θ : параметры гипотезы, которые определяют ее наилучшим образом.
X : введите значение признака каждого экземпляра.
Y : Выходное значение каждого экземпляра.
Нам даны данные с несколькими функциями,
здесь x0 = 1
Чтобы найти гипотезу,
Представление функции стоимости в векторной форме:
Мы знаем, что на рис. 1 мы можем заменить h(θ) на транспонированное θ.
Так когда что использовать?
Когда у вас есть набор данных с большим количеством функций от (1 до 1000), мы можем использовать нормальное уравнение, чтобы найти оптимальное значение θ. Если количество функций превышает, нам нужно перейти на градиентный спуск.
