Градиентный спуск:
Градиентный спуск — это широко используемый алгоритм оптимизации в машинном обучении, который используется для минимизации стоимости или функции ошибки модели. Алгоритм работает путем итеративной настройки параметров модели в направлении наискорейшего спуска функции стоимости, которая определяется градиентом функции стоимости по отношению к параметрам модели.
Общее уравнение градиентного спуска: θj := θj — α ∂J(θ) / ∂θj
=› где θj — j-й параметр модели, α — скорость обучения (гиперпараметр, определяющий размер шага, предпринимаемого на каждой итерации), а ∂J(θ) / ∂θj — частная производная от функция стоимости J по отношению к θj. Алгоритм обновляет параметры θj, вычитая произведение скорости обучения и частной производной функции стоимости по θj.
Стохастический градиентный спуск (SGD):
Стохастический градиентный спуск (SGD) — это вариант градиентного спуска, который обновляет параметры модели для каждого примера, а не на основе всего обучающего набора. SGD обновляет параметры, используя градиент функции стоимости для одного обучающего примера за раз. Это делает его намного быстрее и эффективнее в вычислительном отношении, чем традиционный градиентный спуск, особенно для больших наборов данных.
Уравнение для стохастического градиентного спуска аналогично уравнению для традиционного градиентного спуска, но использует только один обучающий пример для каждой итерации: θj := θj — α ∂Ji(θ) / ∂θj
=› где Ji — функция стоимости для i-го обучающего примера.
Стохастический градиентный спуск — это частный случай пакетного градиентного спуска, где размер пакета равен 1.
В заключение стохастический градиентный спуск — это вариант градиентного спуска, который использует один обучающий пример за раз для обновления параметров модели. Оба алгоритма используются для оптимизации параметров модели машинного обучения, чтобы минимизировать стоимость или функцию ошибки.
