Градиентный спуск - это алгоритм оптимизации, который применяется в отрицательной части градиента, которая повторяется и используется для минимизации некоторых функций.
Даже в машинном обучении мы используем градиентный спуск для улучшения параметров нашей модели. Упомянутые здесь параметры выражают коэффициенты линейной регрессии, а также веса в нейронных сетях.
Скорость обучения
Мы можем назвать каждый из шагов выше скорости обучения. Мы прогрессируем, увеличивая скорость обучения с каждым шагом, и мы можем покрыть больше места с каждым шагом. Однако, поскольку наклон постоянно меняется, мы также должны учитывать возможность превышения самой низкой точки. В этом случае это может вызвать проблему переобучения.
Переобучение: переобучение - это проблема в машинном обучении и статистике, когда модель слишком хорошо изучает шаблоны набора обучающих данных. Это происходит, когда модель изучает детали и шум в обучающих данных до такой степени, что это отрицательно влияет на производительность модели на новых данных.
Поскольку пересчет выполняется очень часто с очень низкой скоростью обучения, этот алгоритм также может безопасно работать в направлении отрицательного градиента. Низкая скорость обучения более надежна, но для ее расчетов требуется много времени.
Функция стоимости
Это функция, которая проверяет точность модели машинного обучения, разработанной для имеющихся у нас данных. Эта функция используется для количественной оценки ошибки между прогнозируемыми значениями (y-прогноз) и ожидаемыми значениями (y) и представляет ее как одно действительное число. Функция стоимости имеет собственную кривую и собственные градиенты. Наклон этой кривой показывает, как обновить наши параметры, чтобы сделать модель более точной.
Спасибо за чтение .
использованная литература
Https://www.researchgate.net/post/What_is_the_meaning_of_the_word_optimization_in_research
