Публикации по теме 'gradient-descent'


Градиентный спуск с импульсом
Проблема с градиентным спуском заключается в том, что обновление веса в момент (t) определяется скоростью обучения и градиентом только в этот момент. Он не принимает во внимание предыдущие шаги, предпринятые при обходе пространства затрат. Это приводит к следующим проблемам. Градиент функции стоимости в седловых точках (плато) незначителен или равен нулю, что, в свою очередь, приводит к небольшим обновлениям веса или их отсутствию. Следовательно, сеть застаивается, и обучение..
Упрощенная линейная регрессия - обычный метод наименьших квадратов против градиентного спуска
Упрощенная линейная регрессия - обычный метод наименьших квадратов против градиентного спуска Что такое линейная регрессия? Линейная регрессия - это статистический метод определения взаимосвязи между независимыми и зависимыми переменными. Давайте возьмем простой набор данных, чтобы объяснить модель линейной регрессии. Почему мы называем их независимыми и зависимыми переменными? Если вы возьмете наш пример набора данных, столбцы «Годы опыта» будут независимыми..
Искусственные нейронные сети (часть 3) - функции потерь и затрат и градиентный спуск.
В этой части ИНС мы попытаемся узнать, что такое функция потерь и как она используется для расчета функции стоимости и, наконец, градиентного спуска и его роли в оптимизации. Функция потерь  – это метод оценки производительности модели путем вычисления разницы между фактическим значением и прогнозируемым значением. Обычно мы используем функцию среднеквадратичной ошибки или функцию ошибки логарифмической потери. Он измеряет, насколько хороша наша функция. Журнал потерь: L(p, y) =..
Логистическая регрессия (математика и интуиция, лежащие в основе логистической регрессии)
Узнайте все о логистической регрессии . Содержание: ∘ Введение: ∘ Линейная регрессия ∘ Логистическая регрессия ∘ Функция затрат: ∘ Алгоритм градиентного спуска: ∘ Реализация: ∘ Резюме: Введение: Логистическая регрессия - это алгоритм обучения с учителем, используемый для двоичной классификации . например (Верно или неверно, да или нет, 1 или 0). Его также можно использовать для мультиклассовой классификации . но для многоклассовой классификации..
Градиентный спуск
Градиентный спуск — очень общий алгоритм, способный находить оптимальные решения для широкого круга задач. Общая идея градиентного спуска заключается в итеративной настройке параметров для минимизации функции стоимости. Предположим, вы заблудились в горах в густом тумане; вы можете найти склон только под своей ногой. Хорошая стратегия состоит в том, чтобы идти по дну долины, спускаясь по склону в направлении самого крутого склона. Именно это и делает градиентный спуск: он измеряет..
Интуитивное понимание градиентного спуска
Интуитивное понимание градиентного спуска Машинное обучение — одна из самых мощных технологий современности. Методы оптимизации, такие как градиентный спуск, играют важную роль в машинном обучении. Базовое понимание линейной алгебры и исчисления требуется для понимания математики, лежащей в основе моделей машинного обучения. Целью любого метода машинного обучения, такого как регрессия, классификация и т. д., является выработка правила принятия решения. Чтобы определить это правило,..
Почему выпуклость - ключ к оптимизации
Машинное обучение Почему выпуклость - ключ к оптимизации Это просто с выпуклыми функциями стоимости Самое интересное, с чем вы впервые столкнетесь, когда начнете заниматься машинным обучением, - это алгоритм оптимизации, а точнее, градиентный спуск, который представляет собой итеративный алгоритм оптимизации первого порядка, используемый для минимизации функции затрат. Интуиция за градиентным спуском сводится к решению, которым может быть локальный минимум в окрестности или, в..