Публикации по теме 'gradient-descent'
Пакетный против мини-пакетного против стохастического градиентного спуска с примерами кода
Один из основных вопросов, возникающих при изучении машинного обучения и глубокого обучения, - это несколько типов градиентного спуска. Следует ли использовать пакетный градиентный спуск? Мини-пакетный градиентный спуск или стохастический градиентный спуск? В этом посте мы собираемся понять разницу между этими концепциями и взглянуть на реализации кода из Gradient Descent, чтобы прояснить эти методы.
Изменить: обновленная версия здесь .
На данный момент мы знаем, что наша матрица..
Решение градиентного спуска, часть 1
Давайте поговорим о методе, который мы используем в науке о данных, который, по словам моей невесты, «похож на математику»: градиентный спуск.
Она не ошибается: это так! Звучит как целая куча математики (и это так). Смысл этих двух частей в том, чтобы они звучали немного меньше, чем ***MATH***.
В науке о данных мы находим, что градиентный спуск весьма полезен. Давайте поговорим о том, что такое градиентный спуск, как и почему мы его используем, рассмотрим пример и, во второй части,..
Не оглядывайся, посмотри вперед!
Оптимизатор LookAhead делает вашу модель менее чувствительной к выбору гиперпараметров.
Задача оптимизатора - найти такой набор весов, для которого модель NN дает минимально возможные потери. Если бы у вас был только один вес и функция потери, подобная показанной ниже, вам не нужно было бы быть гением, чтобы найти решение.
К сожалению, обычно у вас есть множество весов и ландшафт потерь, который сложно назвать простым, не говоря уже о том, что он больше не подходит для..
Как нейронные сети учатся?
Чтобы понять, как работают нейронные сети , давайте сначала разберемся, как работает человеческий мозг.
Человеческий мозг представляет собой сложную сеть нейронов. Нейроны являются передатчиками сигналов (передатчики нашего мозга и органов чувств). Нейрон в основном состоит из двух частей: Аксон и Дендрит .Axon отправляет сигналы другим нейронам, а Dendrite получает сигнал от других нейронов. Нейрон в качестве сигнальной единицы бесполезен, но если объединить их с другими нейронами и..
Всеобъемлющее руководство по градиентному спуску
Хитрый и мощный алгоритм оптимизации
Мы используем множество оптимизаций в нашей повседневной жизни, основываясь на наших личных решениях, и не осознаем, что то, что мы делаем, является оптимизацией само по себе, будь то когда мы выбираем кратчайший путь, чтобы избежать попадания трафика куда-то, или когда мы покупаем то, что имеет минимальную стоимость и максимальную выгоду и так далее.
Итак, имеем ли мы дело с некоторыми реальными событиями в реальной жизни или с некоторыми..
Все о градиентном спуске в машинном обучении и глубоком обучении!
Вы когда-нибудь задумывались, как алгоритмы машинного обучения дают нам оптимальный результат, будь то предсказание, классификация или любой другой? Как работают эти алгоритмы? Какая математика стоит за этими алгоритмами, которые приводят к результату, который можно использовать в качестве инструмента для оценки реальных проблем? Алгоритм Градиентный спуск делает волшебство возможным.
Gradient Descent является основой каждого алгоритма машинного обучения, а также служит основой..
Как обучить нейронную сеть с нуля
Интуиция, лежащая в основе определения весов нейронной сети, на примере.
В этой статье я продолжу обсуждение искусственных нейронных сетей и приведу пример очень простой нейронной сети, написанной на Python. Цель этой серии статей, которые я пишу, - дать полное объяснение ИНС с нуля, не скрываясь за специальными библиотеками. Tensorflow отлично подходит для создания прототипов и производства, но когда дело доходит до образования, единственный способ научиться - это взять карандаш и бумагу..
