Платформы, инструменты и пакеты для специалистов по геопространственным данным / данным наблюдений за Землей

Данные спутниковых наблюдений за Землей быстро увеличиваются благодаря технологическому развитию платформ дистанционного зондирования и прорывам в сборе и хранении данных. Сегодня у нас на орбите находится более 768 спутников наблюдения Земли, по сравнению со 150 в 2018 году.

Как специалист по геопространственным данным или данным по наблюдениям Земли, у вас есть широкий выбор инструментов и ресурсов. В этой статье я выделю лучшие на рынке инструменты с открытым исходным кодом, которые интегрированы в экосистему науки о данных.

1. Google Earth Engine (GEE)

Ваше желание исполнено. GEE - все в одном пакете. Google Earth Engine (GEE), безусловно, является полным пакетом для ученых, занимающихся данными наблюдений за Землей. Он предлагает не только возможности обработки и анализа геопространственных данных, но также предоставляет готовые к использованию наборы данных, позволяющие сосредоточиться на анализе, а не на загрузке данных.

С помощью GEE вы можете выполнять анализ в планетарном масштабе с помощью свободно доступных спутниковых изображений от NASA / USGS (Landsat, MODIS), Европейского Союза (Sentinel 1 и 2), а также несспутниковых или производных продуктов, таких как высота над уровнем моря, климатические данные и земной покров.

Благодаря полнофункциональной среде разработки как на JavaScript, так и на Python API, Google Earth Engine (GEE) является важным арсеналом для исследователей и аналитиков данных наблюдения Земли. Он также поставляется с редактором кода (Javascript), где вы можете запускать анализ и визуализацию прямо в браузере.

Кроме того, вы можете создавать модели машинного обучения прямо с GEE и создавать полные модели машинного обучения и прогнозы прямо в браузере. Модуль python хорошо интегрируется с другими пакетами python, и вы можете запускать его в записных книжках Jupyter или Google Colab.

Вот и все - полная сквозная функциональность GEE с терабайтами источников спутниковых изображений, инструментами обработки данных и алгоритмами машинного обучения прямо в браузере.

Лучше и быть не могло!

2. EO-learn

Масштабные конвейеры наблюдения Земли, работающие на CPU / GPU. EO-Learn - это пакет Python, который тесно связан с экосистемой Python для науки о данных и машинного обучения с сообществом дистанционного зондирования / наблюдения Земли. С помощью eo-learn даже неспециалисты могут извлекать ценную информацию из спутниковых изображений.

Это также позволяет экспертам по наблюдению Земли эффективно использовать современные модели глубокого обучения и компьютерного зрения.

Eo-learn построен на массивах Numpy и четкой геометрии, поэтому ученые, занимающиеся геопространственными данными, чувствуют себя как дома. С помощью ограничивающих рамок с помощью Geopandas eo-learn может загружать спутниковые изображения прямо в вашем окружении, прежде чем проводить какой-либо анализ.

Не только eo-learn позволяет вам выполнять модели машинного обучения и глубокого обучения, но также имеет модули для пакетной обработки, маскирования, функций ввода-вывода и геометрического преобразования и преобразования между векторными и растровыми данными.

С помощью eo-learn вы можете создавать конвейеры для выполнения пакетов и мульти-пакетов, которые можно запускать на параллельных графических процессорах / графических процессорах для тяжелой обработки. Например, этот трубопровод работает 12 часов для выполнения последовательности задач для массива площадью 200 000 км2, чтобы выполнить классификацию земного покрова для всей страны.

Radiant MLHub

Для наблюдения Земли и машинного обучения Radiant MLHub предлагает готовые к использованию наборы данных для обучения наблюдению за Землей с открытым исходным кодом. Все наборы данных в их каталоге являются жалобой SpatioTemporal Asset Catalog (STAC), и список уже растет - на данный момент доступно 14 наборов данных.

Наборы обучающих данных охватывают различные приложения машинного обучения, включая классификацию изображений, сегментацию и обнаружение объектов. Популярные наборы данных по обучению наблюдению за Землей с помощью машинного обучения, доступные здесь, включают SpaceNet, BigEarthNet и LandCoverNet.

Доступ к данным бесплатный и открыт для всех через API. Примеры Jupyter Notebook о том, как получить доступ к различным наборам данных, доступны в Репозитории руководств MLHub.

Открытый куб данных

В качестве платформы и инструмента управления геопространственными данными с открытым исходным кодом Open Data Cube обеспечивает простой и открытый доступ к большим проиндексированным объемам данных наблюдения Земли. Python API позволяет аналитикам наблюдения Земли запрашивать и получать доступ к данным с высокой производительностью, позволяя им выполнять обработку хранимых данных на уровне страны или континента.

Open Data Cube в настоящее время поддерживает Digital Earth Australia и Africa Regional Data Cube, а также предоставляет учебные пособия, руководства и документацию для своих пользователей.

Они также предлагают щедрую бесплатную песочницу ODC (16 ГБ оперативной памяти) с предварительно настроенными блокнотами Jupyter, которые вы можете запускать в облаке без настройки и установки. Благодаря этой функции многие наблюдатели Земли легко начинают анализировать петабайты данных, не беспокоясь о программном обеспечении.

Эти платформы позволяют тысячам специалистов по данным наблюдения Земли и облегчают выполнение повседневных задач. Хотя некоторые из этих наборов инструментов можно использовать как автономные, так и в виде полного непрерывного конвейера, я склонен использовать их с другими пакетами и библиотеками для геопространственных / геоданных.

Итак, я завершу эту статью предоставлением пакетов, которые я использую больше всего для обработки наборов данных наблюдения Земли, которые вы, вероятно, найдете полезными.

  • Rasterio: необходимый, легкий и гибкий пакет Python для чтения и записи изображений с дистанционным зондированием.
  • WhiteBoxTools: - это расширенный инструмент анализа геопространственных данных, включающий в себя обширные задачи обработки изображений, такие как улучшение изображения, операции фильтрации, кластерные алгоритмы и другие функции обработки изображений, такие как гидрологический и геоморфометрический анализ. Он может эффективно обрабатывать данные лидара, позволяя сегментировать, мозаично или объединять данные растрового лидара и получать выходные данные.
  • EarthPy: пакет Python, который упрощает построение и работу с пространственными растровыми и векторными данными с помощью инструментов с открытым исходным кодом. EarthPy устраняет разрыв между растровыми и векторными данными, поэтому вы можете эффективно работать с двумя разными типами данных.
  • GDAL: GDAL - прекрасный инструмент, которым пользуется большинство пользователей наблюдения Земли. Это библиотека-переводчик для форматов растровых и векторных геопространственных данных, которая предоставляет обширный список инструментов для обработки спутниковых изображений.
  • PDAL: это библиотека абстракции точечных данных. PDAL ориентирован на данные LiDAR, но также предлагает другие инструменты. Он также обеспечивает простую привязку к python через Numpy, что позволяет работать с такими инструментами наблюдения Земли, как записные книжки Jupyter и python.

Последние мысли

Мы живем в золотой век наблюдений за Землей. Мы не только являемся свидетелями прорывов в космических и воздушных экспедициях, но также имеем невероятные ресурсы для анализа и изучения Земли и окружающей среды. Эти платформы позволяют специалистам по наблюдению Земли изучать климат, погоду, сельское хозяйство, транспорт и инфраструктуру, а также опасные природные явления.

Хотя список невелик, я считаю, что это лучшие ресурсы. Если вы думаете, я упустил некоторые из ваших любимых инструментов; пожалуйста, дайте мне знать.