В разделе Последовательность для обучения последовательности RNN обучается отображать входную последовательность в выходную, которая не обязательно имеет одинаковую длину.
Приложения - это распознавание речи, машинный перевод, добавление подписей к изображениям и ответы на вопросы.
АРХИТЕКТУРА
Encoder RNN считывает входную последовательность и генерирует контекстный вектор фиксированного размера, который представляет семантическую сводку входной последовательности.
Вектор контекста фиксированного размера передается на вход декодера RNN.
Контекст фиксированного размера может быть предоставлен как начальное состояние RNN декодера или может быть подключен к скрытым модулям на каждом временном шаге . Эти два способа также можно комбинировать.
Количество временных шагов в кодировщике и декодере не обязательно должно быть одинаковым.
Ограничение
Одним из ограничений этой архитектуры является то, что трудно резюмировать длинную последовательность с вектором контекста, который имеет небольшую размерность.
Как решить?
Контекстный вектор переменной длины можно использовать вместо вектора фиксированного размера.
Механизм внимания может использоваться для создания последовательности векторов из кодировщика RNN с каждого временного шага входной последовательности. Декодер учится уделять выборочное внимание векторам для получения результата на каждом временном шаге.
