Используйте эту статью как записную книжку, справочное руководство по видеоконтенту наноградусов.

РНН.2

RNN один из способов включения памяти. Последовательный. Зависимости от темпа RNN, генерация титров, наличие памяти, в отличие от NN с прямой связью (только текущий ввод). Лучшая аналогия по одному изображению, трудно сказать, движется ли изображение кошки. Одно изображение является текущим входом, серия изображений, образующих gif, является временными данными. Временные зависимости. Нелинейные функции.

Простой RNN Elmam Net

RNN.3
Сети прямой связи ограничены — они не могут фиксировать временные зависимости. Входные данные с зависимостью во времени: видео, музыка, ... обзор исторической RNN, важная архитектура RNN прошлого.

Простые сети RNN Elman Networks, также известные как сети Jordan, 1990 г.

Прошлый RNN страдает от проблемы исчезающего градиента.

У RNN есть ключевой недостаток, поскольку практически невозможно зафиксировать отношения, которые охватывают более 8 или 10 шагов назад. Этот недостаток связан с проблемой «исчезающего градиента», в которой информационный вклад со временем затухает в геометрической прогрессии.

LSTM в середине 1990-х годов был изобретен для решения проблемы исчезающего градиента. «Некоторые сигналы, известные как состояния, могут быть сохранены/введены одновременно/или не введены в определенное время с помощью вентилей.

RNN.4, применяя RNN везде в реальной жизни, множество вариантов использования. Распознавание речи, дракон Alexa Siri. Запас трафика для прогнозирования временных рядов. Хотите посмотреть рядом, например, в Netflix. Обработка естественного языка, машинный перевод, вопросы и ответы, намерения
Чат-бот

Нейронная сеть с прямой связью — напоминание
Можно комбинировать CNN с RNN для распознавания жестов.
Прямая связь между входами и выходами, обычно с помощью нелинейной функции, называемой активацией.
Статический: нет памяти, вывод зависит только от текущего ввода.

Полностью подключен: каждый входной узел связан с каждым нейроном в скрытом слое, который подключен к каждому узлу в выходном слое
Каждый ввод, умноженный на вес, добавляет смещение, активируется, а затем получает вывод

Цель состоит в том, чтобы найти оптимальные веса, соединяющие вход со скрытым, оптимальные веса, соединяющие скрытое с выходом. Повторяйте обратную связь и обратное распространение до тех пор, пока система не достигнет оптимальных весов.

— —
Процесс упреждения
— —
Объяснение умножения с упреждением. Входные данные — это вектор, скрытый слой — это вектор. W11 соединяет входной узел 1 и скрытый узел 1. W21 соединяет входной узел 2 со скрытым узлом 1. Номер входного столбца должен совпадать с номером скрытой строки. Линейная комбинация каждого входного узла с каждым столбцом весов представляет собой линейную комбинацию всех входных узлов и весов для этого скрытого примера узла hidden 1. Прочтите нижний индекс, чтобы определить!! Важный

h1= x1w11 + x2w21+ x3w31… xnwn1