Публикации по теме 'gradient-descent'
Машины для глубокого обучения, нейроэволюции и экстремального обучения
В нашем предыдущем руководстве мы представили Deep Learning (DL) и попытались понять искусственные нейронные сети (ANN) более подробно: в частности, уделяя особое внимание нейронным сетям с глубокой прямой связью (FFNN), также известным как многослойные персептроны (MLP).
Мы закончили обучением рисовать простую картинку.
В этом втором руководстве по глубокому обучению мы постараемся лучше понять, как изучают нейронные сети.
Предположим, что все проблемы, независимо от их..
Градиентный спуск с импульсом
Градиентный спуск с импульсом всегда будет работать намного быстрее, чем алгоритм Standard Gradient Descent. Основная идея градиентного спуска с импульсом состоит в том, чтобы вычислить экспоненциально взвешенное среднее ваших градиентов, а затем использовать этот градиент для обновления ваших весов. Он работает быстрее, чем обычный алгоритм градиентного спуска.
Как это работает?
Рассмотрим пример, в котором мы пытаемся оптимизировать функцию стоимости, которая имеет контуры, подобные..
Спускайтесь осторожно по уклону!
В машинном обучении градиентный спуск — это алгоритм оптимизации, используемый для нахождения значений параметров (θ) функции (f), которая минимизирует функцию стоимости (J(θ)).
Прежде чем перейти к алгоритму градиентного спуска, давайте рассмотрим некоторые основные термины, упомянутые в приведенном выше определении. Во-первых, давайте попробуем разобраться в таких терминах, как производная первого порядка, дифференцируемая функция, градиент, выпуклость и глобальный минимум ...
Линейная регрессия против логистической регрессии: в чем разница?
Различия с точки зрения функций стоимости, обычного наименьшего квадрата (OLS), градиентного спуска (GD) и оценки максимального правдоподобия (MLE).
В этой статье я расскажу о дорожной карте разработки статистических моделей. В частности, мы поговорим о том, чем разработка линейной регрессии отличается от логистической регрессии . Мы также обсудим, почему некоторые методы работают в одной модели, но не работают в другой модели. Ниже приводится обзор этой дорожной карты.
Шаг 1 ...
Введение в алгоритм градиентного спуска
Представьте, что вы стоите на вершине горы с завязанными глазами. Вас просят спуститься с горы и найти долину. Что бы вы сделали? Поскольку вы не знаете, куда и в каком направлении вам нужно двигаться, чтобы достичь земли, вы, вероятно, сделаете маленькие шажки в каком-то направлении более высокого наклона и попытаетесь выяснить, ведет ли этот путь к месту назначения. Вы можете повторять этот процесс, пока не достигнете земли. Именно так работает алгоритм градиентного спуска...
Введение в градиентную эпизодическую память
Введение
Основное внимание в этой статье уделяется пониманию модели градиентной эпизодической памяти (GEM), предложенной Lopez-Paz et al. Мы сосредоточимся на понимании того, как модель решает проблему катастрофического забывания, как создать набор данных, который ближе к реальному сценарию, и как определить точность модели. Мы также внимательно изучаем функции, которые авторы использовали для понимания деталей реализации модели.
Обзор модели
Лопес-Пас и др. . предложил модель,..
Просто еще один пост о выпуске
Этот очень простой градиентный спуск
Если вы начнете любой курс глубокого обучения, вы, вероятно, услышите что-то вроде:
Читателю интересно использовать цепное правило для получения градиента, но оно оказывается чрезвычайно простым… (см. примечания cs231n ).
Или вот так (см. Лекцию Яна Лекуна ):
Вы можете сделать backprop для всех юнитов, это очень просто. В питоне это заняло бы полстраницы. Это очень просто. Это невероятно просто. Почему людям потребовалось так много..
