LSTM с запаздывающими данными
Следует ли использовать запаздывающие данные при построении LSTM?
При создании своего первого LSTM вы быстро поймете, что ваши входные данные должны быть в форме 3-мерного массива. Три измерения:
- Образцы
- Временные шаги (или размер окна)
- Возможности
Потенциально запутывающая часть разработчиков моделей - это элемент Временные шаги. Большинство разработчиков моделей используют простой двумерный массив (образцы, характеристики). Не беспокойтесь, потому что существует множество руководств, в которых показано, как изменить входные данные в соответствии с этими требованиями. Вот один из моих любимых https://machinelearningmaster.com/reshape-input-data-long-short-term-memory-networks-keras/
Когда вы разберетесь с формированием входных данных, вы можете спросить себя…
Нужно ли мне создавать переменные задержки?
Большинство руководств и примеров в Интернете не включают этот шаг. Моя гипотеза заключается в том, что, поскольку во входном массиве уже есть измерение временного шага, большинство разработчиков моделей считают, что им просто не нужны переменные задержки. В конце концов, одна из уникальных ценностей LSTM - это способность находить закономерности в измерении временного шага!
Несмотря на эту интуицию, я обнаружил, что включение запаздывающих функций дает превосходные результаты. Вот один пример.
Я создал две версии входного массива. Один с базовыми функциями (внизу) и один с дополнительными семью функциями запаздывания. Наиболее важным сравнением в этом примере является то, что лучшая производительность фрейма данных без лагов составляет 0,046, и никогда не может соответствовать лучшей производительности фрейма с лагами. После этого эксперимента я попробовал дополнительные настройки гиперпараметров и продолжил получать превосходную производительность с добавленными функциями задержки.
Причина этого может быть интуитивной. Хотя отдельные значения в характеристиках запаздывания дублируются, они размещаются в векторах, которые могут быть однозначно взвешены, что дает возможность для уникального вклада.