резюме каждого алгоритма, используемого в предсказании фондового рынка.

1. Нейронная сеть

Нейронная сеть пытается изучить функцию, которая отображает входные признаки в выходные предсказания, выступая в качестве универсального аппроксиматора функции. Он состоит из сети нейронов, каждый из которых представляет собой взвешенную сумму входных данных. Выходы нейронов встраиваются в функции активации, которые вносят нелинейность в систему, а затем передаются некоторым другим нейронам. В типичной плотной нейронной сети с прямой связью сеть состоит из слоев нейронов, сложенных вместе, при этом нейроны между отдельными слоями полностью связаны.

Оптимизация нейронных сетей обычно выполняется с помощью обратного распространения с градиентным спуском, который по существу распространяет ошибку от выходного слоя обратно к входному слою, вычисляя градиент ошибки по каждому параметру в процессе.

2. Рекуррентная нейронная сеть

Рекуррентная нейронная сеть — это тип нейронной сети, в которой связи между нейронами позволяют хранить и обрабатывать временную, последовательную информацию в сети. Одна типичная архитектура формируется путем подачи вывода текущего блока обратно на вход с временной задержкой, чтобы сеть могла использовать информацию при обработке следующего ввода. За прошедшие годы были разработаны различные методы для обучения такого типа сети. Одним из популярных подходов является обратное распространение во времени (BPTT), основная идея которого состоит в том, чтобы развернуть рекуррентную сеть в сеть с прямой связью, где каждый слой представляет временной шаг. Затем можно было бы выполнить обратное распространение с градиентным спуском для оптимизации сети, точно так же, как мы оптимизируем сеть с прямой связью. К сожалению, было показано, что такие методы, как BPTT, приводят либо к исчезновению, либо к взрыву градиентов. Исчезающие градиенты приводят к нереально долгому обучению, а иногда обучение невозможно, в то время как взрывные градиенты приводят к колебаниям веса, что приводит к нестабильной тренировке. Оба нежелательны при обучении нейронной сети. Таким образом, для смягчения проблем необходимы новые методы обучения и архитектуры.

3. Долгая кратковременная память (LSTM)

Долгосрочная кратковременная память была впервые введена Хохрайтером и Шмидхубером в 1997 году для решения вышеупомянутых проблем. Долгосрочная память решает проблему обучения запоминанию информации в течение определенного интервала времени, вводя ячейки памяти и блоки ворот в архитектуру нейронной сети. Типичная формулировка предполагает использование ячеек памяти, каждая из которых имеет состояние ячейки, в котором хранится ранее встреченная информация. Каждый раз, когда ввод передается в ячейку памяти, а вывод определяется комбинацией состояния ячейки (которое является представлением предыдущей информации), состояние ячейки обновляется. Когда другой ввод передается в ячейку памяти, обновленное состояние ячейки и новый ввод могут использоваться для вычисления нового вывода.

4. Рекуррентная установка закрытого типа (ГРУ)

Рекуррентная единица со шлюзом следует той же архитектуре, что и долговременная кратковременная память, за исключением того, что она упрощает конструкцию ячейки памяти, уменьшая структуру до содержания только двух вентилей, вентиля сброса, которые контролируют, сколько информации нужно забыть при восприятии. новой информации и ворота обновления, которые контролируют долю состояния ячейки, обновленную вкладом. Хотя было показано, что LSTM более мощный, чем GRU, GRU имеет преимущество в меньшем времени обучения и может работать лучше на небольших наборах данных.

5. Алгоритм эволюции

Исследования показали, что крупномасштабная эволюция может автоматически генерировать архитектуру модели нейронной сети и гиперпараметры с производительностью, сравнимой с современными моделями, разработанными человеком. В исследовании 2017 года была проведена масштабная эволюция для обнаружения нейронных сетей классификации изображений. Все началось с огромной популяции рандомизированных простых однослойных моделей, затем популяция медленно развивалась путем удаления плохой модели и создания новой модели путем изменения некоторых параметров хорошей модели на каждой итерации. После сотен часов работы алгоритма с огромной вычислительной мощностью большинство моделей в совокупности достигли самых современных результатов на наборах данных CIFAR. В каждой итерации применялась только простая мутация, изменяющая 1 параметр, что позволяло осуществлять поиск в большом пространстве поиска. В документе показана возможность поиска хороших моделей с использованием больших вычислительных мощностей для замены экспертов по машинному обучению и заложена основа для демократизации машинного обучения с помощью Auto ML.

Этот алгоритм был реализован, и я сделал приложение для предсказания запасов, код которого можно увидеть на моем GitHub. Если вы хотите изменить его, потяните запрос на моем GitHub.

Аккаунт GitHub-https://github.com/pat749/Stock-market-prediction-app

Пожалуйста, следуйте за мной для получения дополнительных руководств по глубокому обучению, машинному обучению и обучению с подкреплением.

Если вы хотите связаться со мной, пожалуйста, напишите мне письмо.