LSTM с запаздывающими данными

Следует ли использовать запаздывающие данные при построении LSTM?

При создании своего первого LSTM вы быстро поймете, что ваши входные данные должны быть в форме 3-мерного массива. Три измерения:

  • Образцы
  • Временные шаги (или размер окна)
  • Возможности

Потенциально запутывающая часть разработчиков моделей - это элемент Временные шаги. Большинство разработчиков моделей используют простой двумерный массив (образцы, характеристики). Не беспокойтесь, потому что существует множество руководств, в которых показано, как изменить входные данные в соответствии с этими требованиями. Вот один из моих любимых https://machinelearningmaster.com/reshape-input-data-long-short-term-memory-networks-keras/

Когда вы разберетесь с формированием входных данных, вы можете спросить себя…

Нужно ли мне создавать переменные задержки?

Большинство руководств и примеров в Интернете не включают этот шаг. Моя гипотеза заключается в том, что, поскольку во входном массиве уже есть измерение временного шага, большинство разработчиков моделей считают, что им просто не нужны переменные задержки. В конце концов, одна из уникальных ценностей LSTM - это способность находить закономерности в измерении временного шага!

Несмотря на эту интуицию, я обнаружил, что включение запаздывающих функций дает превосходные результаты. Вот один пример.

Я создал две версии входного массива. Один с базовыми функциями (внизу) и один с дополнительными семью функциями запаздывания. Наиболее важным сравнением в этом примере является то, что лучшая производительность фрейма данных без лагов составляет 0,046, и никогда не может соответствовать лучшей производительности фрейма с лагами. После этого эксперимента я попробовал дополнительные настройки гиперпараметров и продолжил получать превосходную производительность с добавленными функциями задержки.

Причина этого может быть интуитивной. Хотя отдельные значения в характеристиках запаздывания дублируются, они размещаются в векторах, которые могут быть однозначно взвешены, что дает возможность для уникального вклада.