Краткий обзор достижений и проблем в приложениях для наблюдения Земли

Вступление

Хотя кажется, что шумиха вокруг глубокого обучения немного утихает (ИИ нейронных сетей - это просто!), А возрождение нейронных сетей и компьютерного зрения становится нормой, за последние пять лет многие полезные применения этих технологии появились в области дистанционного зондирования. Обнаружение объектов и классификация земного покрова, по-видимому, были наиболее изученными и коммерциализированными приложениями глубокого обучения в дистанционном зондировании, но есть ряд других областей, которые также выиграли, например, слияние данных, трехмерная реконструкция и совместная регистрация изображений. . Постоянно расширяющееся использование глубокого обучения в дистанционном зондировании обусловлено двумя тенденциями: 1) повсеместная, простая в использовании инфраструктура облачных вычислений, включая графические процессоры; 2) разработка и более широкое внедрение простых в использовании инструментов машинного обучения, таких как Google Tensorflow, AWS SageMaker и многих других фреймворков с открытым исходным кодом; и 3) расширяющаяся экосистема сервисов для создания помеченных обучающих данных (Масштаб, Рисунок 8), а также открытых помеченных наборов данных, таких как SpaceNet на AWS.

Глубокое обучение, нейронные сети и компьютерное зрение также стали чаще использоваться в последние годы с данными радаров с синтезированной апертурой (SAR). Большинство ведущих компаний по анализу спутниковых наблюдений за Землей, таких как Orbital Insight, Descartes Labs и Ursa, расширяют использование данных SAR в своих аналитических рабочих процессах. Из того, что я видел, использование этих методов принесло наибольшую пользу в следующих областях: обнаружение объектов (автоматическое распознавание целей), классификация земного покрова, обнаружение изменений и увеличение объема данных. Также кажется, что недавно было проведено исследование того, как применение глубокого обучения может принести пользу интерферометрическому анализу SAR. Однако есть некоторые проблемы при использовании глубокого обучения с данными SAR. Среди прочего, явно не хватает больших помеченных наборов обучающих данных, а поскольку данные SAR имеют спекл-шум и немного менее интуитивно понятны, чем оптические данные, правильная классификация функций может стать проблемой для специалистов по маркировке и моделям.

Я выделю некоторые из приложений, которые выиграют от использования глубокого обучения и данных SAR с высоким разрешением, таких как Созвездие Капеллы. Я также обрисую некоторые проблемы, которые Capella надеется решить вместе с более широким сообществом пользователей SAR.

Обнаружение объекта

Большая часть исследований и разработок в приложениях глубокого обучения SAR была направлена ​​на обнаружение объектов и классификацию земного покрова. В мире SAR обнаружение объектов обычно называют автоматическим распознаванием цели (ATR). Исследования в области ATR набирали обороты в 90-х годах и исходили из военных приложений, но с тех пор расширились до широкого спектра гражданских коммерческих применений. Спектр проблем ATR исследовался в литературе, начиная от поиска хорошо понятной цели на известной местности и в препятствиях, и заканчивая идентификацией целей, которые могут иметь отчетливо различную реакцию SAR в зависимости от угла обзора и окклюзии другими целями. Как правило, проблема заключается в поиске относительно небольших целей (транспортных средств, кораблей, инфраструктуры электроснабжения, нефтегазовой инфраструктуры и т. Д.) На большой сцене, где преобладают помехи.

В последнее время использование сверточных нейронных сетей (CNN) улучшило производительность моделей распознавания объектов для различных целей. Первое появление CNN в SAR ATR, кажется, произошло совсем недавно, в 2015 году, где было продемонстрировано, что использование CNN конкурирует с другими методами, считавшимися современными в то время. Другие с тех пор расширили эту работу и продемонстрировали› 99% точности классификации для функций в наборе данных MSTAR , который состоит из военных транспортных средств. В последние годы появилось больше гражданских и коммерческих примеров использования CNN, в том числе проект составить карту энергосистемы, конкурс Kaggle по различению кораблей и айсбергов и некоторые исследования по идентификации плавучих нефтяных вышек. Большая часть работы, с которой я столкнулся до сих пор, сосредоточена на изображениях обратного радиолокационного рассеяния, но в ряде статей подчеркивается возможность использования фазовых данных для получения дополнительной информации о целях.

Классификация земного покрова

Классификация более крупных объектов и земного покрова также выиграла от применения подходов глубокого обучения и надежного мониторинга SAR, не зависящего от погодных условий. Хотя использование нейронных сетей для классификации данных SAR не ново, похоже, что использование глубокого обучения для классификации земного покрова значительно расширилось с 2015 года, когда были введены полностью сверточные нейронные сети. Было проведено множество исследований, изучающих возможность использования CNN для классификации общего земного покрова, такого как дороги, здания, паводковые воды, городские районы и посевы. Глубокое обучение также использовалось для некоторых интересных приложений нетипичного земного (или водного) покрова, таких как идентификация разливов нефти и классификация различной толщины морского льда. Как правило, использование глубокого обучения превосходит классические подходы, хотя оно может быть не более эффективным по времени и стоимости вычислений. Однако, как и в случае со всеми методами обучения с учителем, производительность во многом зависит от качества помеченных данных обучения.

Обнаружение изменений

Данные SAR с высоким разрешением и высокой частотой кадров однозначно подходят для приложений обнаружения изменений благодаря способности видеть сквозь облака и фиксировать как изменения амплитуды отраженной энергии, так и фазовой когерентности. Я был удивлен, обнаружив, что было проведено так много исследований по использованию глубоких нейронных сетей для обнаружения изменений в данных SAR. В отличие от обнаружения объектов, где использование CNN является доминирующим, для решения проблемы определения изменений поверхности в данных SAR использовались различные методы нейронных сетей. Как правило, подходы основаны либо на классификации земного покрова в многоступенчатом стеке и последующем сравнении результатов постклассификации, либо на классификации радиометрических или фазовых разностей между разновременными данными. Существуют примеры последнего подхода с использованием ограниченных машин Больцмана, PCANet, составных автокодировщиков и многослойных персептронов, контролируемых сжимающих автокодеров (sCAE) и кластеризации, sCAE и нечетких c-средних и CNN. . Есть еще одна интересная категория подходов, которые используют как SAR, так и оптические изображения в качестве входных данных и используют сеть глубокой сверточной связи для выявления изменений в разнородных данных. В большинстве исследований делается вывод о том, что подходы к глубокому обучению показывают лучшую производительность (меньшее количество ложноположительных и ложноотрицательных результатов), чем предыдущие методы с использованием марковских случайных полей и анализа главных компонентов.

Мониторинг деформации и InSAR

Похоже, что на сегодняшний день не было проведено много исследований по использованию методов глубокого обучения для анализа интерферограмм или поддержки обработки InSAR. Тем не менее, есть свидетельства интереса к этой области, с некоторыми ранними исследованиями по выявлению паттернов деформации в свернутой фазе с использованием CNN и финансируемых проектов, интегрирующих методы глубокого обучения в цепочки обработки InSAR. Также была проделана более широкая работа по применению методов глубокого обучения к разворачиванию фаз. Вполне вероятно, что в ближайшие годы мы увидим больше опубликованных исследований по этим темам, поскольку в различных учреждениях есть открытые кандидатские должности с упором на применение машинного обучения в рабочих процессах InSAR.

Увеличение данных

Было проведено несколько увлекательных исследований по применению CNN и генеративных состязательных сетей (GAN) в приложениях для улучшения данных SAR и слияния данных. Одна полезная область исследований, которая также способствует обнаружению объектов, - это использование CNN для оценки и уменьшения спекл-шума в данных амплитуды SAR. В результате получается чистое изображение SAR, полученное с помощью одного процесса прямой связи. Также возможно улучшить видимое разрешение данных SAR с помощью GAN. В литературе есть примеры перевода изображений из разрешения Sentinel-1 в разрешение TerraSAR-X. Хотя эти методы, похоже, не очень хорошо сохраняют структуру функций, они представляют собой интересный взгляд на будущее сверхвысокого разрешения и переноса стиля для SAR. Также можно использовать GAN, чтобы сделать данные SAR с высоким разрешением больше похожими на оптические изображения за счет удаления пятен и окраски, что может помочь в визуальной интерпретации изображений SAR. Сейчас доступны новые наборы данных, которые помогут продвинуть этот тип работы и другие приложения, требующие объединения данных SAR и оптических данных.

Вызовы

Когда я просматривал литературу по этим приложениям, я обнаружил общую проблему: нехватка высококачественных данных для обучения SAR, особенно с высоким разрешением. Как и во всех методах обучения с учителем, производительность модели и результаты сильно зависят от входных данных для обучения. Наиболее часто используемый набор высококачественных обучающих данных - это набор данных MSTAR, но он содержит лишь ограниченное количество военных функций. Другие исследователи прибегали к созданию собственных аннотированных наборов обучающих данных, но собрать большой глобальный набор данных может быть невероятно дорого, поскольку есть ограниченные возможности для исходных данных с высоким разрешением, и очень немногие из них имеют открытые лицензии (например, UAVSAR). . Есть способы улучшить обучающие данные с помощью моделирования и передачи обучения, но вам по-прежнему нужен разумный набор данных в качестве отправной точки. Я планирую обсудить эту проблему, данные обучения SAR в целом и видение Капеллы в одном из будущих сообщений блога.

Capella стремится внести свой вклад в сообщество, разрабатывающее приложения для глубокого обучения с данными SAR, поддерживая усилия по созданию больших наборов обучающих данных SAR с высокой разрешающей способностью для различных коммерческих и государственных случаев использования. Если вы работаете над обнаружением объектов, обнаружением изменений и другими приложениями для глубокого обучения с использованием данных SAR с воздуха или спутников, мы будем рады услышать от вас и узнать больше о вашей работе и проблемах, с которыми вы сталкиваетесь.