В последние годы прогресс и исследования, посвященные глубокому обучению, охватывают все больше и больше различных областей. Изображения наблюдения Земли не являются исключением из этой тенденции. Многие функции обработки изображений (классификация, обнаружение, распознавание, регистрация, шумоподавление, моделирование и т. д.) в настоящее время адресованы для изображений наземных наблюдений, даже если этот контекст имеет свои особенности.
Но среди различных существующих модальностей некоторые более специфичны, чем другие, и меньше похожи на обычные образы.
Это действительно относится к изображениям SAR (Synthetic Aperture Radar). Эта аббревиатура относится к обработке, необходимой для вычисления радиолокационного изображения, т. е. изображения, полученного в микроволновом диапазоне.
Чем эти изображения отличаются от обычного изображения?
Необычная интерпретация
Изображения РСА просто сложно интерпретировать, потому что они содержат информацию, невидимую для нашего глаза.
Раньше я говорил, что то, что мы «видим», — это расположение кирпичиков сцены, размеры которых порядка длины волны, и что сигнал радара одновременно чувствителен к геометриякирпичей и их материал.
Например: при длине волны 3 см сигнал составляют в основном листья; при длине волны 20 см это будут в основном ветки, а при метрической длине волны стволы составляют важную часть сигнала. Сигнал от этих объектов будет сильно зависеть от количества содержащейся в них влаги.
Радиолокационные изображения представляют собой сложные изображения.
Радиолокационные изображения являются сложными изображениями в математическом смысле. В каждом пикселе сигнал содержит действительную часть и мнимую часть.
Если рассматривать радиолокационное изображение «само по себе», часто говорят, что фаза «бесполезна», потому что она кажется равномерно распределенной между 0 и 2 и не видна. Однако эта фаза содержит информацию, относящуюся к формированию изображения, и поэтому во многих случаях ее полезно сохранить: в частности, когда мы хотим совместить два разных изображения, для интерферометрии или поляриметрии, как мы увидим позже. br /> Некоторые уровни продукта не требуют фазы, но их больше нельзя использовать для этих более «продвинутых» модальностей. Первый уровень продукта называется «SLC» (Single Look Complex).
В сложном домене для сохранения этой фазовой информации операции повторной выборки являются особыми, что объясняет трудности платформ обработки для их интеграции:
Данные SLC Sentinel-1 в настоящее время не могут быть загружены, так как Earth Engine не поддерживает изображения со сложными значениями из-за невозможности их усреднения во время построения пирамиды без потери фазовой информации.
Динамика необычная.
Это означает, что если вы выводите изображение с помощью вашего любимого программного обеспечения, скажем, Python, вы не увидите многого, потому что динамика задавлена. На самом деле, вы должны рассуждать в логарифмическом масштабе (или в децибелах) или, лучше, пороговать амплитудные изображения перед их отображением. Сделаю еще пост на эту тему.
Это когерентные изображения, содержащие спекл.
В результате появится однородный участок с пятнами, или крапинка. Иногда это рассматривается как шум; в действительности он отличается от теплового шума, поскольку этот спекл — явление, заложенное в принципе формирования изображения.
Ниже приведен пример РСА-изображения (датчик SETHI компании Onera) на однородных участках сосновых лесов в болота (Франция). Зернистость посылок соответствует явлению спекла.
Разрешение не связано с размером пикселя!
Поскольку изображение не получается с помощью обычной камеры, разрешение зависит от параметров системы сбора данных, то есть: центральной частоты, продолжительности времени интегрирования, относительного положения антенны и отображаемой сцены, используемой полосы частот. .
Это разрешение не обязательно равно размеру пикселя: часто мы выбираем выборку изображения с меньшим шагом, чем теоретически достижимое разрешение.
Ниже приведены два примера изображений с одинаковым теоретическим разрешением, но разными размерами в пикселях: правая миниатюра сильно передискретизирована.
Необычные статистические распределения
Спекл-изображения подчиняются определенной статистике, подробно описанной в справочнике Годмана.
Гудман, Дж. В. (2007 г.). Спекл-явления в оптике: теория и приложения. Издательство "Робертс и компания".
Есть книги, в которых более конкретно рассматривается обработка и оценка в контексте этих конкретных статистических данных. Обратите внимание, что существует ценная ссылка на французском языке, написанная Жаном-Мари Николя:
https://perso.telecom-paristech.fr/tupin/JMN/documentsJMN.html.
Stian Affinsen также проделал большую работу по этой теме и ее расширению на многомерные изображения:
Николя, Жан-Мари и Стиан Норманн Анфинсен. «Введение в статистику второго рода: применение логарифмических моментов и логарифмических кумулянтов к анализу распределений радиолокационных изображений».
Необычный PSF.
Функция рассеяния точки (PSF) описывает реакцию сфокусированной оптической системы формирования изображения на точечный источник или точечный объект.
В случае радиолокационного изображения PSF представляет собой кардинальный синус по обеим осям изображения:
Спектр с особым смыслом
Форма спектра зависит от того, как было получено изображение. Его центр не обязательно находится в центре опоры изображения, его опора не является строго прямоугольником.
Расширенные режимы
Есть сложные режимы, называемые поляриметрией, интерферометрией, томографией, которые фактически объединяют информацию с нескольких разных антенн. Точно так же, как цветное изображение содержит 3 канала: красный, зеленый и синий, радиолокационное изображение может содержать несколько поляриметрических/или интерферометрических каналов и, таким образом, отображаться в ложном цвете.
Геометрия другая
В отличие от оптического изображения радиолокационное изображение синтезируется в кадре наклонной плоскости, который содержит направление освещения. Это означает, что пиксель может содержать информацию сразу из нескольких мест: например, земли, стены и крыши здания. Это делает геометрическую интерпретацию объемных элементов особенно сложной.
Наконец, список этих особенностей не бесконечен. Помня об этом, вполне возможно приблизиться или адаптировать процедуры, которые выполняются на классических изображениях. Позже я постараюсь более подробно вернуться к пунктам, обсуждаемым в этом посте.
