О
Матрицы смежности были рассчитаны для 40 городов с использованием данных датчиков https://doi.org/10.1038/s41598-019-51539-5 (ETH Zürich). Я лично арендовал сервер Google Cloud примерно за 500 евро для расчета этих матриц, потому что у нас так мало их в сообществе специалистов по прогнозированию трафика. Поскольку большинство моделей в сообществе обучаются только на этих нескольких наборах данных, существует риск переобучения.
Используйте remove_missing_sensors.py для удаления датчиков, которых нет ни в матрице, ни в данных.
Репозиторий можно найти здесь: https://github.com/ThomasAFink/osmnx_adjacency_matrix_for_graph_convolutional_networks
Условия использования и ссылки на данные
Я НЕ связан ни с ETH Zürich, ни с набором данных UTD19. Чтобы использовать или опубликовать эти данные, вы должны зарегистрироваться и соблюдать условия использования, которые можно найти в нижней части веб-сайта набора данных UTD19 https://utd19.ethz.ch/. Веб-сайт UTD19 https://utd19.ethz.ch/ и статья должны иметь ссылку Понимание пропускной способности городских сетей https://doi.org/10.1038/s41598-019-51539-5. Лучше всего указать также школу Eidgenössische Technische Hochschule Zürich (ETH Zürich). 6 ГБ данных, собранных с датчиков, также доступны при подписке на UTD19 https://utd19.ethz.ch/.
Лодер А., Л. Амбюль, М. Менендес и К.В. Axhausen (2019) Понимание пропускной способности городских сетей, Scientific Reports, 9 (1) 16283. https://doi.org/10.1038/s41598-019-51539-5
OpenStreetMap https://www.openstreetmap.org/ также необходимо указать, потому что матрицы рассчитаны с использованием OpenStreetMap. Если вы используете какие-либо карты, вы должны ссылаться как на OpenStreetMap, так и на Mapbox https://www.mapbox.com/ в дополнение к UTD19.
Кроме того, вероятно, лучше всего также ссылаться на города в публикациях. Дополнительные данные часто можно получить по запросам opendata из городов.
Код для отображения и вычисления матриц, с другой стороны, является лицензией MIT.
Учебники
Учебники по коду были предоставлены на Medium Томасом А. Финком.
Создание матрицы смежности с использованием алгоритма Дейкстры для графических сверточных сетей GCN https://thomasafink.medium.com/creating-an-adjacency-matrix-using-the-dijkstra-algorithm-for-graph-convolutional-networks-gcns- cc84c37e297 https://github.com/ThomasAFink/osmnx_adjacency_matrix_for_graph_convolutional_networks
Построение оптимального маршрута для специалистов по данным в Python с использованием алгоритма Дейкстры 14e3e9383a0a» https://github.com/ThomasAFink/optimal_path_dijkstra_for_data_science
Графовые сети
Оптимальные расстояния Дейкстры между каждым датчиком и каждым другим датчиком были рассчитаны с использованием OSMnx и NetworkX. Каждый город включает как минимум одну нормализованную и одну исходную матрицу с необработанными значениями. Два примера графических сетей визуализируются:
Данные
Данные можно использовать для машинного обучения, но не во всех городах их достаточно. Переменные включают скорость потока и занятость. До сих пор я тестировал набор данных Лос-Анджелеса только с моделью LSTM-GCN. Точность, R2 и дисперсия превышали 90% на уровне других наборов данных, таких как METR-LA и PEMS-BAY.
Дополнительные источники данных
Источник: https://github.com/graphhopper/open-traffic-collection
Глобальный
https://wiki.openstreetmap.org/wiki/TMC#Available_datasets https://unece.org/transport/transport-statistics/traffic-census-2020 https://telraam.net/#9/ 48.1497/11.5850 https://www.graphhopper.com/open-source/
Австралия
https://data-exchange.vicroads.vic.gov.au/ https://data-exchange.vicroads.vic.gov.au/docs/services https://data-exchange.vicroads. vic.gov.au/data-exchange-platform-goes-live
Канада
Британская Колумбия https://www.th.gov.bc.ca/trafficData/
Европа
https://data.europa.eu/data/datasets?locale=en&query=traffic&page=1 https://www.datex2.eu/
Австрия:
https://contentportal.asfinag.at/data
Бельгия:
https://datastore.brussels/web/- https://www.verkeerscentrum.be/uitwisseling/datex2full-
Каталония:
http://www.gencat.cat/transit/opendata/incidenciesGML.xml
Чехия:
https://registr.dopravniinfo.cz/ru/
Эстония:
https://tarktee.mnt.ee/#/ru/datex
Финляндия:
https://www.digitraffic.fi/en/road-traffic/ https://aineistot.vayla.fi/roadworks/roadworks_d2.xml https://aineistot.vayla.fi/roadworks/roadworks_infoxml. xml https://aineistot.vayla.fi/painorajoitukset/painorajoitukset_d2.xml
Франция:
https://data.nasdaq.com/data/INSEE-национальный-институт-статистики-и-экономических-исследований-франция https://opendata.paris.fr/explore/dataset/comptages-routiers- перманенты/информация/?disjunctive.libelle&disjunctive.etat_trafic&disjunctive.libelle_nd_amont&disjunctive.libelle_nd_aval
Германия:
https://opendata.muenchen.de/dataset?tags=Fahrrad https://www.offenedaten-koeln.de/search/type/dataset https://opendata.duesseldorf.de/dataset/verkehrsmeldungen -mobilit%C3%A4tsdaten https://opendata.jena.de/group/mobilitat https://darmstadt.ui-traffic.de/faces/TrafficData.xhtml https://suche.transparenz. hamburg.de/dataset/geo-online-portal-hamburg https://geodienste.hamburg.de/HH_WFS_Verkehr_opendata?REQUEST=GetCapabilities&SERVICE=WFS https://open.nrw/dataset/verkehrszentrale-verkehrsinformationen-der- viz-nrw-fuer-nordrhein-westfalen-1476687235163 https://open.nrw/dataset/verkehrszentrale-verkehrslage-los-1476688071631 https://www.mcloud.de/web/guest/suche/-/ results/detail/verkehrsdatenautomatischedauerzhlstellen https://www.bast.de/DE/Verkehrstechnik/Fachthemen/v2-verkehrszaehlung/Daten/2017_1/Jawe2017.html?nn=1819490 https://mobilithek.info/ https://www.mdm-portal.de/migration/ https://autobahn.api.bund.dev/ https://www.mdm-portal.de/
Италия:
https://github.com/noi-techpark/BZtraffic
Литва:
http://restrictions.eismoinfo.lt/ https://eismoinfo.lt/#!/
Люксембург:
https://www.cita.lu/info_trafic/datex/situationrecord
Нидерланды:
http://opendata.ndw.nu/ https://gitlab.com/traffxml/vild2ltef
Норвегия:
Польша:
https://gitlab.com/traffxml/traff-gddkia https://kpd.gddkia.gov.pl/index.php/en/homepage/
Словения:
https://www.promet.si/en/plugins-for-developers
Испания:
Швеция:
https://statistik.tkgbg.se// https://www.trafikverket.se/tjanster/Oppna_data/oppna-data-vi-erbjuder/
Швейцария:
https://www.astra.admin.ch/astra/de/home/dokumentation/daten-informationsprodukte/verkehrsdaten.html
UK:
https://www.trafficengland.com/services-info https://www.traffic.gov.scot/datex/ https://www.gov.uk/traffic-counts https:/ /www.data.gov.uk/dataset/dc18f7d5-2669-490f-b2b5-77f27ec133ad/highways-agency-network-journey-time-and-traffic-flow-data
США
Несколько записей взяты из этого ответа stackexchange
- общенациональный
- Алабама
- "Аризона"
- Арлингтон
- Калифорния и https://koordinates.com/layer/109326-california-traffic-volumes-aadt/
- Чикаго или один конкретный набор
- "Колорадо"
- Долина Делавэр
- "Флорида"
- "Индиана"
- Мэн
- Массачусетс
- Мичиган (кажется, уже не выпускается)
- "Миннесота"
- Нью-Йорк Сити и Нью-Йорк
- "Северная Каролина"
- "Огайо"
- Орегон
- "Южная Каролина"
- Теннесси (кажется, больше не выпускается)
- Вашингтон
- "Висконсин"
Нью-Йорк: https://www.nyc.gov/site/tlc/about/tlc-trip-record-data.page