Пространственно-временной ConvLSTM для прогнозирования сбоев

Уникальный подход глубокого обучения для прогнозирования аварий

В этом посте рассказывается об уникальном эмпирическом исследовании с использованием модели глубокого обучения ConvLSTM и ArcPy для прогнозирования мест риска сбоев на следующий день с использованием временных последовательностей данных о характеристиках сбоев. Дорожные аварии формулируются как задача прогнозирования пространственно-временной последовательности, в которой как входные, так и прогнозируемые данные представляют собой пространственно-временные последовательности. Сверточный LSTM (ConvLSTM) подход заключается в построении сквозной обучаемой модели для прогнозирования сбоев. Результат показал, что сеть ConvLSTM может фиксировать пространственно-временные корреляции дорожно-транспортных происшествий, когда и где они происходят.

Проблемы: дорожно-транспортные происшествия приводят к тяжелым травмам и человеческим жертвам, а также к огромным экономическим потерям. Способность прогнозировать риск дорожно-транспортных происшествий в пространственно-временном контексте важна для предотвращения возникновения аварий не только для граждан, но и для государственных служащих. Тем не менее, это очень сложная задача - предсказать дорожно-транспортные происшествия, а не только причины множества факторов, например: человек, время, геометрия и окружающая среда, но также редкие факторы и скудные наборы данных. В традиционном прогнозировании аварий обычно применяется статистическая регрессия, такая как Пуассона, Отрицательное биномиальное (NB) и многомерное регрессирование. Но они часто терпят неудачу при работе со сложными и сильно нелинейными данными, такими как пространственно-временные корреляции аварий, например. когда, где и почему. Существуют классические подходы к машинному обучению, например Классификаторы XGBoost, SVM и RandomForest, которые встраивают функции в модели для определения важности характеристик для вероятности. Мы говорим о функциях машинного обучения, которые представляют собой массивы чисел в многомерном пространстве. Чтобы узнать больше о разработке функций в машинном обучении, прочтите один из лучших рассказов Дэниела Уилсона.

Более того, время и сезонность могут играть важную роль в определении вероятности аварий, когда и где. Используя ArcPy в ArcGIS Pro, мы можем агрегировать места сбоев в определенных временных окнах. Щелкните, чтобы увидеть примеры мест аварий в 3D-сценах.

Решение. Итак, можем ли мы применить классические модели машинного обучения для поиска важных причинно-следственных связей, а затем предложить практическую сеть глубокого обучения для прогнозирования, когда и где произойдут аварии? Ответ положительный. Модель ConvLSTM - одна из самых интересных моделей глубокого обучения, которая используется для прогнозирования следующего кадра видео или изображения. Первоначальное исследование было выполнено для Прогноз погоды. Чтобы лучше понять модель ConvLSTM, давайте сначала рассмотрим обычную модель сети LSTM. Сеть Long Short-Term Memory (LSTM) - это тип искусственной рекуррентной нейронной сети (RNN ) с обратной связью. Он может обрабатывать не только отдельные точки данных (например, изображения), но и целые последовательности данных (например, речь или видео). Ниже приводится один из лучших пояснительных видеороликов, предоставленных Майклу Филу для иллюстрированного руководства по LSTM. Вы также можете прочитать его блог.

Это работает? Теперь давайте посмотрим, что такое ConvLSTM. Проще говоря, ConvLSTM - это сверточная нейронная сеть CNN, объединенная с сетью LSTM. Вместо того, чтобы вводить только последовательность данных, его вводом является последовательность данных сверточной нейронной сети CNN, которая лучше всего подходит для изображений и видео. Эта комбинация гарантирует, что ConvLSTM улавливает лежащие в основе локальные пространственно-временные корреляции. См. Рисунок 1 ниже с основными уравнениями ConvLSTM и диаграммой внутренней структуры.

Как это работает. Цель этого эмпирического исследования - спроектировать предыдущую последовательность данных об авариях для прогнозирования фиксированного промежутка времени в местах аварии в округе Кобб с использованием сети ConvLSTM. Каждая авария имеет записанное время и координаты места. Представление каждого временного периода, то есть каждые два часа, представляет собой кадр изображения в пространственно-временном пространстве. При складывании этих аварийных рамок изображений и их подаче в сеть ConvLSTM мы можем предсказать фиксированную длину, то есть следующие определенные часы кадров изображений дорожно-транспортных происшествий. Чтобы подогнать данные к модели, данные будут сформулированы в виде трехмерных тензоров, таких как изображения и стек, как последовательности четырехмерных тензоров с характеристиками, описанными выше как четвертое измерение. (последовательность, изображениеH, изображениеW, особенности). Весь регион округа Кобб разделен на квадратные интервалы размером 45x41w (всего 1845, 0,25 мили каждый) с помощью ArcPy. В этом первоначальном проекте я использую семидневные данные о последовательности аварий в качестве входных данных для модели и прогнозирую карту изображений аварий на следующий день, потому что данные о авариях на уровне округа очень редки и имеют четкую еженедельную структуру. Будет еще один проект по прогнозированию следующего двухчасового сбоя с использованием той же модели и алгоритма. При применении моделей XGBoost и RandomForest делается вывод об 11 важных функциях, которые вызывают дорожно-транспортные происшествия в Коббе. Эти атрибуты функций включают переменные, не зависящие от времени, такие как длина дороги, кривизна дороги, средний уклон, плотность населения и т. Д., А также переменные, зависящие от времени, такие как погода, время дня, аварии и местоположения и т. Д. Эти характеристики отформатированы как 4-е измерение 4D тензор (7, 45, 41, 11). Данные об авариях в округе Кобб за три года обрабатываются и объединяются в модель ConvLSTM с 90% последовательностей обучения и 10% последовательностей для тестирования. Каждая последовательность сдвигается на один день, всего 1096 последовательностей для обучения и тестирования. Выходной прогноз - это следующий день, когда аварии произойдут в 1845 ячейках (см. Пояснительную картинку на рисунке 2, где показаны составные карты аварийных контейнеров графства. Синие ячейки - это те ячейки, где в этот период времени происходят аварии)

Постройте модель, обучите данные и сделайте прогноз риска

За кулисами. Типичная модель глубокого обучения заключается в разработке набора данных, построении модели, обучении данных, прогнозировании и развертывании модели. Модель обучалась за 50 эпох с помощью оптимизатора бинарной кроссентропии и Адама (на самом деле ее можно обучить несколько сотен эпох). Результат оказался многообещающим. В приведенной выше галерее изображений показаны некоторые шаги, кроме инженерной части. Абсолютная истина вместе с выборкой прогнозов от 12 декабря 2020 года выбирается случайным образом, которая не используется в обучении. Путем визуального сравнения истинности и прогноза с использованием определенного порога вероятности модель может предсказать наиболее подходящие места и схемы аварий в этот день. см. рисунок 3.

Результаты. С помощью нескольких строк кода ArcPy мы можем добавить выходные записи модели в класс пространственных объектов сетки и карту в ArcGIS Pro. Оказалось, что в ArcGIS Pro проще визуализировать дороги и другие объекты, обозначенные символами.

Почему это важно. Этот эмпирический исследовательский проект показывает, как мы можем использовать ArcPy и методы глубокого обучения, такие как ConvLSTM, чтобы найти многообещающее решение для сбоя. прогноз. Все рабочие процессы и процессы обработки данных могут быть дополнительно усовершенствованы с помощью дополнительных инженерных функций и данных, автоматизированных, развернутых и сопоставленных в ESRI ArcGIS Pro для настольных ПК или в виде корпоративного сервиса ArcGIS. В результате та же методология может быть применена к пространственно-временным решениям для транспортных потоков, осадков, прогнозирования преступности и многого другого, что вы можете думать о пользе для человечества.

Сегодняшний мир ставит перед нами множество проблем. Однако с помощью ИИ и глубокого обучения мы можем работать вместе, чтобы искать решения и сделать мир намного лучше для жизни. Спасибо, что прочитали эту карту-историю. Пожалуйста, отправьте мне комментарий на [email protected].

Ссылки

[1] Синцзянь Ши, Чжуронг Чен, Хао Ван, Дит-Ян Юнг, Вай-кин Вонг, Ван-чун У, Сверточная сеть LSTM: подход машинного обучения для прогнозирования текущей погоды по осадкам. Компьютерное зрение и распознавание образов (cs.CV) Цитируйте как: arXiv: 1506.04214 [cs.CV]

[2] Чжуонин Юань, Сюнь Чжоу, Тяньбао Ян, Hetero-ConvLSTM: подход с глубоким обучением к прогнозированию дорожно-транспортных происшествий на основе гетерогенных пространственно-временных данных. KDD 2018, 19–23 августа 2018 г., Лондон, Великобритания.

[3] Собхан Мусави, Мохаммад Хоссейн Самаватян, Шринивасан Партхасарати, Раду Теодореску, Раджив Рамнатх, Прогнозирование риска несчастных случаев на основе разнородных разреженных данных: новый набор данных и выводы. Машинное обучение (cs.LG); Базы данных (cs.DB); как: arXiv: 1909.09638 [cs.LG].

[4] Иеремия Роланд *, Питер Д. Уэй, Коннор Фират, Тхань-Нам Доан, Мина Сартипи, Моделирование и прогнозирование дорожно-транспортных происшествий в Чаттануге, Теннесси, Анализ и предотвращение аварий 149 (2021) 105860

[5] ESRI ArcPy

[6] Дэниел Уилсон, Разработка функций для прогнозирования автомобильных аварий. Story Map 19 мая 2020 г.