Дорожная сеть и извлечение времени в пути из разных углов обзора с помощью данных SpaceNet
Обнаружение дорожной сети на основе данных дистанционного зондирования остается сложной задачей, несмотря на недавние достижения с открытым исходным кодом (например, модели SN5). Еще сложнее извлечь характеристики дорожной сети (например, время в пути) из неидеальных данных. В этом посте мы резюмируем недавнюю исследовательскую работу, написанную командой CosmiQ (Адам Ван Эттен, Джейк Шермейер, Дэниел Хоган, Ник Вейр, Райан Льюис), который был принят на Международный симпозиум по геонаукам и дистанционному зондированию 2020 IEEE. Мы демонстрируем, что дорожные сети могут быть точно извлечены из спутниковых снимков вне надира (до определенной точки), и что оценки времени в пути можно определить с очень высокой точностью.
1. Введение
Использование свёрточных нейронных сетей для интерпретации изображений, получаемых поверх изображения, имеет применение в реагировании на стихийные бедствия [1, 2], сельском хозяйстве [3] и многих других областях [4]. Спутникам дистанционного зондирования с высоким пространственным разрешением часто приходится направлять свои датчики за пределы надира, чтобы захватить интересующие области, если они не находятся непосредственно над головой. Это особенно часто встречается в реальных случаях использования, когда требуется своевременный сбор и анализ, требующий сбора под косым углом обзора (вне надира). Это мотивирует анализ того, как угол обзора влияет на производительность модели глубокого обучения. Влияние угла обзора на характеристики модели для поиска следов зданий уже изучалось [5], но здесь аналогичное исследование для дорог проводится впервые. Возможность построить дорожную сеть из спутникового изображения является представителем широкого класса геопространственных проблем глубокого обучения, а также является по сути ценным для маршрутизации в быстро меняющихся условиях. Ключом к этой возможности является выход за рамки сегментации пикселей - получение и оценка теоретико-графического представления дорожной сети.
2. Набор данных
Вкратце (см. Spacenet.ai или [5] для получения более подробной информации), набор данных SpaceNet Multi-View Overhead Imagery (MVOI) включает 27 различных сборов, полученных во время одного прохода спутника Maxar WorldView-2 над Атлантой. . Диапазон этих взглядов составляет от 7 до 53 градусов от надира, и все это покрывает те же 665 квадратных километров географической области.
MVOI включает вручную отобранные метки для машинного обучения: ›120 000 полигонов контуров зданий и ≈3 000 км осевых линий дорожной сети. Метки дорожной сети содержат метаданные, указывающие количество полос, тип дороги (жилая наземная дорога, главная автомагистраль и т. Д.) И тип поверхности. Эти атрибуты определяют расчетную безопасную скорость движения [6]. Изображения и метки размещены в микросхемах размером 450 × 450 м (0,20 квадратного километра) для машинного обучения и многоканальных масок, созданных для обучения модели сегментации.
3. Алгоритмический подход
Мы используем алгоритм извлечения дорог городского масштаба из спутниковых изображений v2 (CRESIv2) с открытым исходным кодом [6], который послужил основой для недавнего SpaceNet 5 Challenge, посвященного дорожным сетям и оптимизированной маршрутизации по спутниковым изображениям. На рисунке 2 показан процесс, с помощью которого CRESIv2 быстро извлекает дороги из спутниковых снимков. Логический вывод работает на скорости ~ 300 квадратных километров в час с использованием одного графического процессора Titan X.
4. Эксперименты
Мы начинаем с обучения модели исключительно на изображениях с самым низким углом (7 градусов), чтобы имитировать типичные наборы изображений дистанционного зондирования. Чтобы исследовать данные вне надира, мы обучаем модели, комбинируя все данные в определенном диапазоне углов. Мы используем четыре ячейки надира: «НАДИР» (≤ 25 градусов, «ВЫКЛ» (26–39 градусов), «VOFF» (≥40 градусов) и «ВСЕ»).
Оценка осуществляется с помощью теоретико-графической метрики сходства средней длины пути (APLS) [7]. Эта метрика суммирует различия в оптимальных длинах путей между узлами в наземном графе истинности G и графе предложения G 'APLS масштабируется от 0 (ужасно) до 1 (идеально). Определение кратчайшего пути может быть определено пользователем; мы фокусируемся на метрике APLS_time для измерения различий во времени прохождения между наземными графиками и графиками предложений, но также рассматриваем географическое расстояние как меру длины пути (APLS_length).
5. Результаты
На рисунке 3 показана предполагаемая скорость для набора тестовых чипов с успешным дифференцированием скорости для разных типов дорог. Интересно то, что мы наблюдаем почти одинаковую производительность при взвешивании ребер с длиной или временем прохождения, при этом показатель APLS_length всего на 0,03 выше, чем APLS_time. Эти результаты показывают, что скорость движения и время в пути извлекаются довольно точно, поскольку любая ошибка во времени в пути усугубит существующие ошибки в топологии дорожной сети.
На Рисунке 4 мы показываем прогнозы и основную истину для нескольких углов надира и тестовых микросхем. Обратите внимание, что алгоритм часто успешно соединяет дороги, даже когда нависающие деревья закрывают дорогу. Модель также имеет ограниченный успех в соединении перекрытых дорог за зданиями.
На рисунке 5 показана совокупная производительность APLS_time для каждого угла надира для каждой из пяти моделей. На этом рисунке углы надира, обращенные на юг, показаны как отрицательные, и показано, что каждая модель хорошо работает в интервале углов, в котором она была обучена. Особенно важно то, что модель, обученная на всех интервалах (т.е. «ВСЕ»), равна производительности (в пределах ошибок) моделей для конкретных бункеров (например, «VOFF»). Очевидно, что модель «ALL», включающая все углы обучения, намного более надежна, чем модели, специфичные для бункеров, с APLS_time ›0,5 для углов надира от -32 до +36 градусов. В интервале 40 градусов или больше мы наблюдаем заметное падение производительности с APLS_time ≈ 0,2 при максимальном угле надира 53 градуса.
6. Выводы
Мы используем ранее не исследованные дорожные метки SpaceNet MVOI для обучения моделей дорожной сети и извлечения времени в пути на изображениях как в надире, так и вне его. Для модели, обученной исключительно на одном надире (взятом всего на 7 градусов от надира), мы достигаем разумных оценок APLS до ≈25 градусов от надира, хотя при более высоких углах надира производительность этой модели резко падает. Мы обнаружили, что включение всех доступных данных, независимо от угла наклона, в одну модель гораздо более надежно, чем модели для конкретных бункеров, обученные на подмножестве углов обзора. Эта глобальная модель достигает значений APLS_time ›0,5 для углов надира от -32 до +36 градусов, хотя определение дорожной сети при очень высоких углах отклонения от надира ≥ 45 градусов является чрезвычайно сложной задачей.
Эффективность выемки дорожной сети при углах вне надира имеет несколько иную функциональную форму, чем выемка зданий при отклонении от надира. Сравнивая рис. 5 с [5], мы отмечаем, что для зданий модель, специфичная для бункера, превосходит глобальную модель в режиме очень вне надира; тем не менее, что касается дорог, мы обнаруживаем, что глобальная модель хорошо работает со всех сторон. На дорогах мы наблюдаем падение производительности на 65% между надиром и 53 градусами вне надира; Сравните это со зданиями, где опубликованные результаты указывают на снижение на 91% баллов между надиром и 53 градусами от надира. Похоже, что сделать вывод о перекрытых дорогах при съемках высоко вне надира проще, чем вывести следы от зданий. Это может быть частично связано с большей полезностью, которую контекст играет для дорог; поскольку дороги обычно связаны, окружающие дороги могут информировать о закрытых дорогах, в то время как окружающие здания дают меньше информации о закрытых зданиях.
Удивительно, но оценки APLS_time и APLS_length практически идентичны для всех углов обзора (средняя разница 6%), несмотря на дополнительное требование извлечения безопасной скорости движения для оценки APLS_time. Это означает, что CRESIv2 оценивает безопасную скорость движения с очень высокой точностью. Поскольку наша оценка безопасной скорости движения определяется размером дороги, типом поверхности и контекстом (например, жилая дорога или основная магистраль), это означает, что алгоритм распознает атрибуты дороги, а также геометрию.
Автоматическое извлечение скорости дороги и времени в пути из спутниковых снимков вне надира применяется для решения очень многих проблем в области гуманитарной помощи и реагирования на стихийные бедствия; этот пост продемонстрировал, что такая задача не только возможна, но и доступна в открытом доступе и намного быстрее, чем ручное аннотирование.
