Как бороться с присущими радиолокационными спутниками помехами
Эмануэле Дальсассо (исследователь CNAM и Telecom Paris), Юсеф Кемиш (Hi! Paris, инженер по машинному обучению), Пьер Бланшар (Hi! Paris инженер по машинному обучению)
Когда люди думают о спутниковых снимках, они обычно думают о снимках, на которых видны мощные ураганы над континентами. Такие изображения получаются оптическими датчиками и широко используются учеными для измерения и прогнозирования лесных пожаров, стихийных бедствий и других последствий глобального потепления, корпорациямидля предоставления своих клиенты с функциями навигации, военными для мониторинга и отслеживания вражеских войск или урбанизированными учреждениями для измерения фрагментации среды обитания или светового загрязнения.
В целом, они, как правило, имеют превосходный уровень детализации, но сталкиваются (как минимум) с двумя основными проблемами при детализации особенностей Земли: ночью и погодой.
Датчик особого типа может помочь ученым видеть в темноте, сквозь облака и дождь. Речь идет о радарах с синтезированной апертурой (SAR). Система SAR может быть установлена на борту спутников, самолетов или даже дронов, что позволяет ей собирать данные как в глобальном, так и в локальном масштабе. В то время как оптические системы полагаются на солнечный свет (т. е. датчик является пассивным), радары посылают электромагнитную волну и измеряют составляющую, обратно рассеянную объектами на земле (т. е. датчик активен).
Таким образом, датчики SAR могут получать данные в любое время суток и при любых метеорологических условиях, так как длина волны передаваемой волны позволяет ей проникать сквозь облака. Однако они сталкиваются с внутренней проблемой: пятнистостью. В этой статье мы увидим, что такое спекл-флуктуации и как с помощью нашего пакета deepdespecling мы можем значительно повысить интерпретируемость радиолокационных изображений.
Зачем использовать радиолокационные спутниковые изображения?
Обычные оптические спутники несут множество видов цифровых фото- и видеокамер для захвата изображений Земли. Однако спутники радаров с синтезированной апертурой (SAR) посылают электронные радиосигналы в сторону целевых объектов. Затем сигнал отражается от почвы или океана и возвращается к излучателю в течение определенного времени, которое определяет расстояние и, следовательно, наблюдаемую топологию. Положение антенны также определяет азимут и высоту. Собственная природа радиоволн не позволяет им окрашивать изображение. Однако у них есть очень ценные особенности, которые делают их незаменимыми для научного сообщества (но не только!)
Действительно, радиоволны не беспокоят ни погода, ни ход дня. Они позволяют делать снимки в кромешную тьму или во время массивного циклона. Но не только как умеют:
- Определить уровень влажности
- Видеть сквозь дым вулкана
- Измеряйте высоту деревьев и, следовательно, способность леса поглощать CO2.
Один из основных недостатков изображений SAR: пятнистость.
Хотя радарные спутники имеют много преимуществ, они по своей сути сталкиваются с одним существенным недостатком: пятнистостью. Спекл — это гранулярная интерференция из-за отражающих свойств излучаемых радиоволн, которая ухудшает качество изображений и, следовательно, их интерпретируемость человеческим глазом.
Спекл выглядит как зернистая текстура «соль и перец» на радиолокационных изображениях (см. рисунок 1). Это происходит из-за случайной конструктивной и деструктивной интерференции от множественных отражений рассеяния, которые будут возникать в каждой ячейке разрешения.
Хотя это присуще радиолокационным изображениям, существуют общие методы их устранения: множественные взгляды или адаптивные фильтры, но они обычно влияют на уровень детализации.
Метод, предложенный здесь Эмануэле Далсассо, Лоиком Дени и Флоренс Тюпин, разработанный в PyTorch и упакованный Hi! Парижские инженеры Юсеф Кемиш и Пьер Бланшар полагаются на разделение реальной и мнимой частей изображения и их обработку. Это позволяет нам уменьшить спекл и сохранить уровень детализации.
DeepDespeckling, пакет Python для решения этой проблемы
Как это работает?
До сих пор в большинстве подходов учитывалась стратегия обучения с учителем: сети обучаются производить выходные данные, максимально приближенные к эталонным изображениям без пятен. Изображения без спеклов, как правило, недоступны, что требует обращения к естественным или оптическим изображениям или выбору стабильных областей в длинных временных рядах, чтобы обойти отсутствие наземной истины. С другой стороны, самоконтроль позволяет избежать использования изображений без пятен.
Мы представляем стратегию самоконтроля, основанную на разделении реальной и мнимой частей сложных SAR-изображений с одним взглядом, называемую MERLIN (complex sElf-supervised despeckLING), и показываем, что она предлагает простой способ обучения всем видам глубокого удаления пятен. сети. Сети, обученные с помощью MERLIN, учитывают пространственные корреляции из-за передаточной функции SAR, специфичной для данного датчика и режима визуализации.
Требуя только одно изображение и, возможно, используя большие архивы, MERLIN открывает двери для беспроблемного и масштабного обучения сетей удаления пятен.
Для более подробного объяснения, пожалуйста, перейдите по этой ссылке на работы Эмануэле Дальсассо, Лоика Дени и Флоренс Тюпин.
Пакет deepdespeckling возник непосредственно в результате работы исследователей, перечисленных выше, с целью предоставить сообществу разработчиков открытого исходного кода набор методов для борьбы со спекл-интерференцией для различных типов операций (прожектор и полосовая карта).
Как его установить?
Как им пользоваться?
Обратите внимание, что две независимые сети обучались двум модальностям изображений:
Режим TerraSAR-X Stripmap и режим TerraSAR-X HighResolution SpotLight.
Далее показаны примеры данных HighResolution SpotLight. Чтобы применить доступные функции к данным SpotLight, замените «deepdespeckling.merlin.test.spotlight» на «deepdespeckling.merlin.test.stripmap».
ТЕСТ-часть
Учитывая довольно внушительный размер изображений SAR, мы разработали набор функций удаления пятен в этом пакете, чтобы каждый пользователь мог применить эффект удаления пятен к изображению CoSar или Numpy. Действительно, применение функции удаления пятен к большому изображению (обычно тысячи пикселей в ширину и высоту) очень требовательно к вычислительным ресурсам и может занять довольно много времени.
Вам доступны следующие 3 функции:
- удаление пятен()
Функция берет целое изображение для удаления пятен. Если размер изображения большой, вам лучше полагаться на графические процессоры, чтобы сократить время вычислений.
- удаление пятен_из_кропа()
Функция позволяет обрезать часть предоставленного изображения. Это может быть полезно, если вам нужно очистить только часть большого изображения. В результате время вычисления сократится по сравнению с despeckle().
Обратите внимание, что эта функция принимает дополнительный аргумент «fixed», который может иметь значение True или False. Если True, кадрирование будет квадратом 256 x 256 пикселей. Если False, обрезка будет соответствовать размеру вашего рисунка.
- удаление пятен_из_координат()
Функция применяет функцию удаления пятен к части изображения, описанной координатами, указанными в «coordinates_dictionnary». Это полезно, если вы знаете расположение деталей, которые хотите удалить.
Поезд
Этот пакет также позволяет вам использовать два метода обучения модели, независимо от того, хотите ли вы обучить свою собственную модель с нуля и получить собственные веса или обучить модель на основе нашей предварительно обученной модели.
- Обучите свою собственную модель с нуля (т. е. установите для аргумента from pretrained значение False и получите собственные веса из подгонки).
2. Обучить модель из предварительно обученной версии (т. е. установить для аргумента from_pretrained значение True и использовать наши веса)
Заключение
Эта статья посвящена шумоподавлению спутниковых изображений, снятых с помощью радиолокационного датчика. Эти изображения по своей природе имеют зернистые помехи, называемые спеклами. Чтобы решить эту проблему, Эмануэле Далсассо из Telecom Paris и инженеры по машинному обучению из Hi! ПАРИЖ. Это позволяет вам значительно повысить интерпретируемость изображений cosar и numpy как для полосовой карты, так и для операций прожектора.
Надеюсь, вам понравилось! Не стесняйтесь обращаться ко мне для вопросов и обратной связи!
Связаться
Чтобы узнать больше о Hi! ПАРИЖ и его команда инженеров:
"Привет! ПАРИЖ"
"Привет! Команда инженеров ПАРИЖ»
