Публикации по теме 'gradient-descent'
Концепция машинного обучения 37: градиентный спуск и стохастический градиентный спуск.
Градиентный спуск:
Градиентный спуск — это широко используемый алгоритм оптимизации в машинном обучении, который используется для минимизации стоимости или функции ошибки модели. Алгоритм работает путем итеративной настройки параметров модели в направлении наискорейшего спуска функции стоимости, которая определяется градиентом функции стоимости по отношению к параметрам модели.
Общее уравнение градиентного спуска: θj := θj — α ∂J(θ) / ∂θj
=› где θj — j-й параметр модели, α —..
Часть 4: лучше, быстрее, сильнее
В этой статье мы будем опираться на базовую нейронную сеть, представленную в части 3 . Мы добавим несколько драгоценных камней, которые улучшат сеть. Небольшие изменения с большим влиянием. Понятия, которые мы встретим, такие как Инициализация , Мини-пакеты , Распараллеливание , Оптимизаторы и Регуляризация - это, без сомнения, то, с чем вы быстро столкнетесь при изучении нейронных сетей. В этой статье приводится пошаговая инструкция .
Это четвертая часть цикла статей:..
Как я должен кормить свой градиентный спуск?
Градиентному спуску всегда нужны данные. Как мы должны передавать данные градиентному спуску? Существует три распространенных способа ввода данных для градиентного спуска (GD): пакетный, стохастический и мини-пакетный.
Есть ли лучший? Почему специалисты по машинному обучению склоняются к Mini-Batch GD? Мы поэкспериментируем со всеми тремя и выясним преимущества и недостатки каждого для себя.
ВВЕДЕНИЕ
Пакетный градиентный спуск — это когда мы передаем ВЕСЬ набор данных для..
Объяснение линейной регрессии в машинном обучении
Объяснение линейной регрессии в машинном обучении
Что такое линейная регрессия?
Линейная регрессия — это статистический метод, который позволяет нам обобщать и изучать отношения между количественными переменными. По сути, линейная регрессия помогает нам смоделировать, как изменения одного или нескольких входных данных влияют на результат. Выход обычно представляет собой непрерывную переменную, такую как время, цена и высота. В машинном обучении очень часто встречается линейная..
Все о градиентном спуске
Градиентный спуск (GD) — это итеративный алгоритм оптимизации, который использует производные первого порядка для обновления параметров, необходимых для нахождения локальных минимумов дифференцируемой функции. Он используется при решении нелинейных задач многомерной оптимизации. Алгоритм оптимизации градиентного спуска известен своей важной ролью в обучении моделей машинному обучению и глубокому обучению [1], [2]. Метод называется градиентным, так как определяет направление поиска с..
Градиентный спуск объяснил
ВВЕДЕНИЕ
Градиентный спуск — это итеративный алгоритм оптимизации, который может оптимизировать многие алгоритмы машинного обучения. Это алгоритм, который находит локальный минимум дифференцируемой функции. Как правило, алгоритм градиентного спуска пытается найти значения различных параметров итеративно, «идя вниз», пока (надеюсь) не будет достигнут минимум.
МЕТОД
Это делается с помощью следующих шагов:
Определите функцию потерь . Это функция, которую необходимо минимизировать. 2...
Простое введение в градиентный спуск
Градиентный спуск — один из самых распространенных алгоритмов оптимизации в машинном обучении. Понимание его базовой реализации имеет основополагающее значение для понимания всех продвинутых алгоритмов оптимизации, построенных на его основе.
Фон
Эта статья является дополнением к Введение в машинное обучение в Python: простая линейная регрессия . Ее следует прочитать в первую очередь или вместе с этой статьей. Также было бы полезно иметь общее представление о частных производных в..
