Публикации по теме 'gradient-descent'


Регуляризация L2: математика, стоящая за ней
Регуляризация L2, один из самых популярных методов в машинном обучении, представляет собой метод уменьшения дисперсии модели и увеличения смещения, чтобы сделать модель более универсальной. Регуляризация L2 — это оценка MAP с гауссовыми априорными вероятностями. Из-за наложенного априора модель может хорошо обобщать данные, масштабируя веса в соответствии с их значимостью. Регуляризованная целевая функция L2 и ее градиент определяются выражением Из разложения в ряд Тейлора мы..
Функция стоимости и градиентный спуск в чистом Kotlin
В начале этого года я прослушал знаменитый курс машинного обучения на Coursera (Стэнфордского университета) и иногда мне было немного сложно одновременно учить октаву. Поскольку это не мой удобный язык программирования, я хотел поэкспериментировать с тем, что я изучил с помощью Java или Kotlin. Наконец, я решил использовать Kotlin, так как гораздо проще реализовать матрицу и ее функции, в основном из-за поддержки оператора overlord и инфиксной функции. Итак, я собираюсь начать с более..
Понимание обратного распространения в машинном обучении
«Хорошие люди делают ошибки, учатся на них и в следующий раз стараются свести к минимуму эти ошибки, пока не перестанут совершаться новые». - (Цитата с обратным распространением) Когда я изучал обратное распространение, я не смог найти ни одной важной статьи, которая могла бы дать мне полезные знания об обратном распространении. Поэтому я решил написать что-то, что может помочь другим понять обратное распространение. Для начала позвольте мне объяснить некоторые основные термины, чтобы..
Нормальное уравнение или градиентный спуск ? 🐱‍🐉🐱‍💻
Какой дорогой мир!!! Даже для реализации простой линейной регрессии нам нужно думать о стоимости. Да, Функция стоимости !! ❤ В этом блоге давайте разберемся, когда использовать нормальное уравнение и когда использовать градиентный спуск ? Градиентный спуск: Градиентный спуск — это алгоритм оптимизации, который можно использовать в любой задаче машинного обучения, он используется для нахождения значения параметра (коэффициента) функции, которое минимизирует стоимость. Проще..
Градиенты для глубоких нейронных сетей и анализа размерностей
Если вы читаете этот пост, вы, вероятно, уже знакомы с концепцией вычислительных графов (я планирую посвятить свой следующий пост реализации одного из них) и тем, как они упрощают применение цепного правила исчисления. даже для очень сложных функций, таких как глубокие нейронные сети. По моему опыту, когда дело доходит до фактического выполнения вычислений градиента с нуля, люди по-прежнему испытывают ненужные трудности при вычислении градиентов относительно простых выражений, таких как W..
Глубокое обучение: градиентный спуск обратного распространения и вывод цепных правил
Глубокое обучение: градиентный спуск обратного распространения и вывод цепных правил Привет, я, виньеш, и это мой первый блог в нейронной сети по теме прямого и обратного распространения. Этот блог предназначен для тех, кто хочет математически визуализировать обратное распространение, цепное правило, градиентный спуск. Есть много онлайн-контента для обратного распространения, цепного правила и градиента. спуск объяснен, но здесь я пытаюсь объяснить обратное распространение, цепное..
Градиентный спуск в машинном обучении
Цель градиентного спуска Градиентный спуск — это исключительно хорошо известный и распространенный алгоритм, используемый в различных алгоритмах машинного обучения, прежде всего в основе нейронных сетей. В этой статье постарайтесь разъяснить это подробно, но в простых терминах. Градиент в простых терминах подразумевает наклон или наклон поверхности. Таким образом, градиентный спуск в реальном смысле подразумевает спуск по склону с целью достижения абсолютного дна на этой..