Примечание. Задача SpaceNet заключается в ускорении геопространственного машинного обучения и поддерживается организациями-членами SpaceNet. Чтобы узнать больше, посетите https://spacenetchallenge.github.io/.

Этот пост является частью 3 серии о SpaceNet 4: Off-Nadir Dataset и Building Detection Challenge. Для первых двух частей серии нажмите здесь и здесь.

Четвертый раунд конкурса SpaceNet: задание по обнаружению зданий за пределами Надира началось! В недавнем посте мы описали построенные нами базовые модели конкуренции и обрисовали в общих чертах некоторые проблемы, с которыми мы столкнулись при обучении моделей для определения следов зданий из набора данных. При оценке производительности этих моделей мы наблюдали очень необычный феномен: зубчатые линии графика для SpaceNet IoU F1 Score при расслоении данных оценки по углу обзора. Как ни странно, построение прогнозов на изображениях, сделанных с почти одинаковыми углами обзора, например, 29 и 30 градусов, дает радикально разные оценки производительности. График, изображающий это явление, воспроизводится ниже.

Итак, что происходит? Почему изображения, полученные под такими одинаковыми углами, дают такие разные прогнозы? Первая подсказка появилась, когда мы наложили изображения и прогнозы в одном месте чипа из двух разных коллекций:

Оба предсказания хорошо видят крыши зданий на снимках, но крыши двигаются! Что случилось? Чтобы выяснить это, давайте наложим оба прогноза на здания с собственноручно созданными метками зданий для одной и той же области:

Как видите, только один из предсказанных наборов меток хорошо соответствует размеченным вручную контурам здания. Интересно, что ручная маркировка была сделана на снимке под углом 7 градусов (наиболее близком к надиру в наборе данных), что не соответствует ни одному из этих изображений в полной мере. Это говорит о том, что модель учится учитывать угол обзора на одном из этих изображений, но не на другом - прогнозы на другом изображении географически сдвинуты на 10–15 пикселей, что соответствует примерно 5–7,5 метрам на земле. Почему это могло быть?

Чтобы понять проблему, нам нужно понять две статистические данные, относящиеся к сбору данных дистанционного зондирования: угол обзора (надир) и азимутальный угол цели.

Что такое угол обзора и целевой азимутальный угол

При анализе данных дистанционного зондирования вне надира необходимо учитывать два важных аспекта: угол обзора или то, как далеко от точки непосредственно над целевым изображением было получено изображение, и азимутальный угол цели, который фактически является направлением по компасу (относительно севера), на которое указывает спутник для визуализации своей цели. См. Схему ниже.

Даже если две коллекции сделаны под одним и тем же углом обзора, получаемые ими изображения могут отличаться, если они были сняты с разных целевых азимутальных углов. В качестве примера рассмотрим случай ниже:

Здесь два набора спутников снимаются под одним и тем же углом надира, но с противоположных сторон здания (цель азимутальный угол со смещением на 180 °). На этих изображениях крыша здания будет проецироваться на очень разные участки земли! То же явление наблюдается на спутниковых снимках, показанных выше. Обратите внимание, что высота конструкции определяет, насколько будет отклоняться проекция: парковка, окружающая здания в нижней части изображения, остается в одном и том же месте между двумя разными изображениями, даже когда крыша сдвигается. Чем выше здание, тем сильнее искажается геопространственное расположение его крыши при изменении азимутального угла. Эффект этого искажения также будет усиливаться по мере увеличения угла надира. Модели, предназначенные для геолокации объектов на снимках вне надира, должны учитывать это явление.

Угол обзора, целевой азимутальный угол и набор данных SpaceNet 4

Для набора данных SpaceNet 4 мы можем использовать целевой азимутальный угол, чтобы определить, где находился спутник по отношению к Атланте во время съемки. Основываясь на взгляде и азимутальных углах цели, мы можем составить следующее изображение того, где происходили сборы:

Здесь следует отметить два ключевых момента:

1. С южной стороны Атланты собрано гораздо больше коллекций, чем с севера.

2. Все коллекции с пониженными оценками прогнозов были взяты с Севера.

Определив это, мы заново построили график производительности модели, используя отрицательные значения для углов обзора в начале серии сборов (изображения, полученные с севера) и положительные значения для углов надира после того, как спутник пролетел над Атлантой. Результаты поразительны: вместо наблюдаемой ранее неровной линии производительности мы видим асимметричный пик производительности.

Несмотря на то, что обучающий набор данных вне надира включает в себя совокупности из диапазона «отрицательных» углов обзора, обученная модель вне надира очень плохо обнаруживает здания по изображениям в тех же коллекциях. Все это свидетельствует о том, что одна обобщенная модель не обязательно будет хорошо работать со всеми данными дистанционного зондирования, даже если это изображения одного и того же места и почти одинакового угла обзора с интервалом менее 5 минут, просто под другим целевым азимутальным углом! Критические особенности изображения, такие как отражение солнечного света от строений и появление теней, могут резко измениться при изменении азимутального угла цели. Эти вопросы необходимо учитывать при разработке моделей, использующих изображения вне надира.

Что дальше?

Изучите Набор данных SpaceNet 4 в рамках Раунда 4 SpaceNet Challenge: Обнаружение следов застройки за пределами Надира! Вопросы или мысли? Сообщите нам об этом в комментариях или в репозитории GitHub, посвященном базовым моделям. Спасибо за чтение!