Публикации по теме 'gradient-descent'
Линейная регрессия. Краткое объяснение.
Введение Типы линейной регрессии Гипотеза Функция стоимости Нормальное уравнение Функция градиента
Линейная регрессия широко используется для наблюдения за взаимосвязью между двумя или более переменными путем подбора линейного уравнения к данным.
Линейная регрессия используется для прогнозного анализа одной или нескольких независимых переменных, которые влияют на выходную переменную. Выход должен быть непрерывным и зависеть от входных переменных.
Существует два типа..
Линейная регрессия в PyTorch
Линейная регрессия в PyTorch
еще одно простое понимание градиентного спуска
Помимо логистической регрессии , наш единственный нейрон может выполнять еще один трюк : линейную регрессию. Наилучшее соответствие линии набору точек, определяемому по формуле:
получается из условия, что сумма квадратов отклонений (остатков) этих точек от линии должна быть минимальной, что дает нам простую систему уравнений и, наконец, приведенное выше решение.
Сумма минимальна, когда градиенты..
Пакетный, стохастический и мини-пакетный алгоритмы градиентного спуска
В этой статье подробно рассматривается алгоритм градиентного спуска и его типы. Алгоритм градиентного спуска, пожалуй, наиболее широко используемый метод машинного обучения. Он широко применяется в задачах классификации и регрессии для минимизации функций ошибок, а также для обучения систем глубокого обучения и нейронных сетей.
Что такое градиентный спуск?
Градиентный спуск — довольно общий алгоритм оптимизации, достаточно эффективный для поиска наилучших решений широкого круга..
Логистическая регрессия (теперь со страшной математикой!)
Логистическая регрессия — это тип линейной модели, который в основном используется для бинарной классификации, но также может использоваться для многоклассовой классификации. Если термин «линейная модель» звучит знакомо, то это может быть связано с тем, что линейная регрессия также является типом линейной модели.
Чтобы продолжить работу с этой записной книжкой, вам сначала нужно убедиться, что вы понимаете такие концепции машинного обучения, как линейная регрессия, функция стоимости и..
Понимание алгоритма повышения градиента
В прошлых статьях мы обсудили введение в алгоритмы бустинга и познакомились с алгоритмом AdaBoost. Эта статья призвана продолжить эту серию статей и обсудить алгоритм Gradient Boosting.
Этот алгоритм является важной частью семейства ансамблевых моделей машинного обучения. Основная идея этого алгоритма основана на основной идее алгоритма повышения. Как следует из названия, этот алгоритм также основан на идее алгоритма градиентного спуска .
Как мы уже знаем, мы используем..
Понимание выпуклости: почему градиентный спуск работает для линейной регрессии
Связь между выпуклой оптимизацией и машинным обучением
Когда я впервые начал самоучиться машинному обучению, я был удивлен, узнав, что у меня уже был некоторый опыт в этом. В колледже я прошел только один вводный курс по информатике, поэтому ожидал, что кривая обучения будет намного выше. Мне пригодился мой предыдущий урок линейной алгебры, а также Серия линейной алгебры 3Blue1Brown (очень рекомендую). Чего я не ожидал, так это моего урока по оптимизации. Вероятно, это связано с..
БЫСТРОЕ ПУТЕШЕСТВИЕ С ИИ: КУРС V3. ЧАСТЬ 1. УРОК 3.1.
Документирование моего путешествия через fast.ai: ОБЗОР ТЕОРИИ. СКОРОСТЬ ОБУЧЕНИЯ И ФУНКЦИИ АКТИВАЦИИ.
Для проекта Урок 3.1 я решил рассмотреть некоторые из основных теорий , которые сделали возможными все замечательные приложения, которые мы смогли создать с помощью Fastai Library. Код доступен здесь .
1. Скорость обучения.
Как вы, возможно, заметили, при разработке нашего проекта классификатора самолетов мы изменили некоторые из наших гиперпараметров . Мы изменили количество..
