Публикации по теме 'gradient-descent'
Алгоритм градиентного спуска
Градиентный спуск - это алгоритм оптимизации, который применяется в отрицательной части градиента, которая повторяется и используется для минимизации некоторых функций.
Даже в машинном обучении мы используем градиентный спуск для улучшения параметров нашей модели. Упомянутые здесь параметры выражают коэффициенты линейной регрессии, а также веса в нейронных сетях.
Скорость обучения
Мы можем назвать каждый из шагов выше скорости обучения. Мы прогрессируем, увеличивая скорость..
понять градиентный спуск
упрощенная задача
Предположим, у нас есть один пример обучения с вводом 1 и целью 2. Использование упрощенного нейрона только с одним весом. Каково значение веса, чтобы модель лучше всего соответствовала нашей паре (входная, целевая)? .
Исходя из входа и веса, мы рассчитали выход. Затем из цели и выходных данных мы могли бы вычислить ошибку, используя среднеквадратичную ошибку формулу.
Теперь проблема заключается в том, чтобы найти вес , чтобы минимизировать ошибку...
Погружение в градиентный спуск
Введение в простой алгоритм для обширных приложений. Для записной книжки с кодом перейдите в Git Repo .
Многие задачи машинного обучения требуют, чтобы мы нашли оптимальные параметры какой-либо функции. Например, предположим, что мы хотим знать, как связаны цены на недвижимость и почтовые индексы. У нас есть некоторые данные, географическая информация и интересующая переменная, цена, и мы пытаемся определить взаимосвязь между ними. Если мы сможем смоделировать эту взаимосвязь, мы..
Понимание и сравнение линейной регрессии с использованием OLS и градиентного спуска
В Интернете доступно множество статей, объясняющих процесс градиентного спуска, а также процесс обычных наименьших квадратов (OLS). Однако очень сложно найти единый сборник с пояснением, зачем нужны два алгоритма, в чем принципиальные различия между ними и какой алгоритм следует использовать в какой ситуации? В этой статье я постараюсь подробно рассмотреть эти вопросы. Остальная часть статьи организована следующим образом:
1. Разминка линейной регрессии
2. Обычный метод наименьших..
10 алгоритмов оптимизации градиентного спуска
10 алгоритмов оптимизации стохастического градиентного спуска + шпаргалка
Алгоритмы оптимизации стохастического градиентного спуска, которые вы должны знать для глубокого обучения
(Я веду шпаргалку этих оптимизаторов, включая RAdam, в моем блоге здесь .)
Журналы изменений: 4 мая 2020 г .: исправление опечатки в формуле Надам в Приложении 2. 21 марта 2020 г .: заменить V и S на m и v соответственно. Обновлены мертвые ссылки. Рассмотрена идея скорости обучения и..
Функциональное машинное обучение: градиентный спуск
Существует бесчисленное множество блогов о машинном обучении, и там есть несколько отличных статей, и все же здесь я добавляю еще одну. Отчасти потому, что я хочу освоить новый язык (FSharp), отчасти потому, что это весело, а отчасти потому, что, хотя существует множество статей о концепциях машинного обучения, примеров применения таких идей, как градиентный спуск, к примерам из реальной жизни нет. что многочисленные.
Так что же даст эта статья?
Цель этой статьи — продемонстрировать..
Вы бы прочитали эту статью? или нет ?
Итак, если я привлек ваше внимание, эта статья посвящена логистической регрессии . Мы поговорим о таких темах, как функция гипотез, граница решения, нелинейная граница решения, упрощенный градиентный спуск и расширенная оптимизация.
Логистическая регрессия - это один из алгоритмов, используемых для классификации. Это идеальный алгоритм для выполнения, когда зависимая переменная является двоичной. Имеется в виду, когда нам нужно выбирать из двух значений, будете ли вы выполнять задачу x..
