Сегодняшняя космическая отрасль быстро меняется во многом из-за шести «разрушительных» факторов:
- Увеличивается количество оптических и радиолокационных изображений высокого разрешения;
- Поток изображений ведет к усилению конкуренции на рынке, что может привести к снижению цен на данные по ЭО;
- Возрастающая конкуренция в космическом сегменте стимулирует инновации в спутниковом аппаратном и программном обеспечении. В результате снижаются затраты на то, чтобы добраться до космоса и работать в нем;
- Резкое увеличение разрешения временных данных меняет наш взгляд на нашу планету и открывает новые рынки;
- Облачные вычисления снижают затраты на хранение данных и вычисления; и
- Методы машинного обучения и искусственного интеллекта для обработки данных EO улучшают результаты и значительно сокращают время, необходимое для анализа изображений.
Ранее мы подробно рассматривали первые четыре разрушителя в рамках текущей серии статей о ценности данных наблюдения Земли (EO) и быстро меняющейся отрасли дистанционного зондирования. В этой четвертой части серии мы подробно рассмотрим два последних революционных фактора: облачные вычисления и методы машинного обучения, которые лежат в основе быстрых решений для развития и вдохновляют на инновации на рынке наблюдения Земли.
Облако
Бурный рост облачных вычислений за такой короткий период сформировал глобальный рынок, выручка которого составила 153 миллиарда долларов в 2017 году и 180 миллиардов долларов в 2018 году. Рост облачных вычислений - это, пожалуй, самая важная тенденция в технологической индустрии сегодня.
Облако - это цифровая инфраструктура, которая дает людям доступ к внешней среде вычислений и хранения, также известной как серверы. Эти серверы обеспечивают точку конвергенции данных и инструментов. Привлекательность для пользователей заключается в том, что они могут выбирать, какие данные и инструменты использовать. Сегодня, когда наборы данных наблюдения Земли чрезвычайно велики, облачная инфраструктура стала единственным способом эффективного размещения и хранения данных.
Во время первого пленарного заседания саммита пользователей Google Earth Engine в прошлом году было признано, что без облака стоимость данных в архиве Landsat была бы слишком дорогой для обработки в глобальном масштабе, что делает его экономически невыгодным для обслуживания. .
Три крупные организации предлагают услуги облачных вычислений, ориентированные на спутниковые наблюдения: Google, Amazon и Microsoft.
Google Earth Engine - это комплексная облачная система хостинга и обработки данных наблюдения Земли. Он содержит более 200 наборов данных на основе спутников, рельефа и моделей и обладает захватывающей вычислительной мощностью с веб-интерфейсом программирования, который позволяет пользователям запускать свои пользовательские модели на данных или использовать встроенные функции, такие как контролируемая классификация, построение пиксельных диаграмм. время или создание мозаики с течением времени. Earth Engine можно использовать бесплатно для людей, работающих над гуманитарными проектами, такими как проект MapBiomass, который помогает составить карту вырубки лесов в тропических лесах Бразилии. Earth Engine также способствует глобальным исследованиям, и на момент написания этого поста его основополагающая статья, опубликованная в 2017 году, была процитирована более 450 раз в академической литературе. Кроме того, программа общедоступных данных Google Cloud содержит полные каталоги миссий Landsat и Sentinel-2, а также метеорологические данные с радаров США NEXRAD для непосредственного использования в вычислительных машинах и механизмах машинного обучения Google Cloud.
Amazon Web Services (AWS) имеет специальное облачное предложение EO под названием Земля на AWS в рамках своей Программы общедоступных наборов данных, которая включает открытые данные с нескольких спутников, включая Landsat 8, Sentinel-1, Sentinel-2 и CBERS, а также результаты глобальной модели. AWS также размещает открытые данные, предоставленные DigitalGlobe с его проблемами SpaceNet. Этот набор данных включает помеченные данные обучения для поддержки алгоритмов компьютерного зрения. Эти открытые данные основаны на протоколах, которые мы ранее упоминали в начале этой серии.
Облачный продукт Microsoft называется Azure, и он учредил инициативу AI for Earth, чтобы облегчить использование своих инструментов AI для решения экологических проблем в четырех основных областях: климат, сельское хозяйство, биоразнообразие и вода. Microsoft также недавно начала сотрудничать с Национальным географическим обществом, чтобы продвигать сохранение природы с помощью ИИ. Это партнерство основывается на пятилетней программе Microsoft AI for Earth стоимостью 50 миллионов долларов, которая с момента создания в 2018 году предоставила проектам более 180 грантов.
Microsoft также объединила усилия с Esri, чтобы предложить виртуальную машину GeoAI Data Science (DSVM), которая является частью семейства продуктов Microsoft Data Science Virtual Machine / Deep Learning Virtual Machine в Azure. Это сотрудничество объединит ИИ, облачные технологии и инфраструктуру, геопространственную аналитику и визуализацию, чтобы помочь в создании более мощных и интеллектуальных приложений.
Эффективность обработки данных в облаке сделала облачные вычисления более привлекательными для государственных учреждений с политикой открытых данных.
Copernicus - это программа наблюдения Земли Европейского Союза, координируемая и управляемая Европейской комиссией в партнерстве с Европейским космическим агентством (ESA), странами-членами ЕС и агентствами ЕС. Эта программа отлично подходит для работы в облаке. Через новые системы DIAS (Data Information Access Services) данные от Sentinels будут поставляться и обрабатываться в облаке.
Будучи одним из крупнейших правительственных агентств, развернутых на AWS, NASA все еще находится на начальном этапе перевода своей инфраструктуры в облако. Основные цели НАСА в этой процедуре - обеспечить легкий доступ к данным и обеспечить совместное использование кода, повторное использование кода и аварийное восстановление. Недавно Common Metadata Repository (CMR) НАСА переместился в облако AWS. CMR - это главный репозиторий всех метаданных НАСА по наукам о Земле, и их перенос в облако AWS - первый шаг к миграции всех данных об ЭО.
Машинное обучение и искусственный интеллект
Машинное обучение (ML) - это набор методов и структур для разработки алгоритмов и статистических моделей путем изучения закономерностей в прошлых данных. Подмножество искусственного интеллекта, машинное обучение также называют прогнозной аналитикой.
Машинное обучение нашло множество приложений с данными наблюдения Земли. Эти приложения варьируются от обнаружения болезней сельскохозяйственных культур и оценки урожайности до картографирования населенных пунктов и зданий для оценки бедности в развивающихся странах. За последнее десятилетие был достигнут огромный прогресс в разработке методологии машинного обучения для множества дисциплин наук о Земле. С учетом сказанного, это все еще самые первые дни применения машинного обучения для решения глобальных проблем развития.
Алгоритмы машинного обучения учатся на обучающих данных, которым они подвергаются, и также предназначены для генерации выходных данных для будущих наблюдений. Однако, если данные обучения неточны или не репрезентативны для всех возможных сценариев, модели машинного обучения могут не обеспечить приемлемые выходные данные.
Данные обучения должны точно фиксировать (или, говоря статистическим языком, выборку) широкий диапазон возможных результатов как в пространстве, так и во времени. Например, набор обучающих данных для классификации земного покрова должен включать все различные классы земного покрова и их временные вариации, которые появляются по всему миру (например, изображения пахотных земель в начале вегетационного периода отличаются от изображений той же земли, близкой к время сбора урожая). Более того, в образах каждого класса должно быть достаточное разнообразие; в противном случае результаты модели машинного обучения будут смещены.
Эти проблемы требуют совместных усилий сообщества по созданию новых наборов обучающих данных и стандартов для улучшения приложений машинного обучения с данными EO. MLHub Earth - это новая инициатива, организованная Radiant Earth Foundation, которая направлена на устранение нехватки географических наборов обучающих данных. Это репозиторий с открытым исходным кодом, в котором хранятся общедоступные обучающие данные, модели и стандарты для ML и EO. В настоящее время при поддержке сообщества экспертов разрабатываются два набора обучающих данных - глобальный растительный покров и основные сельскохозяйственные культуры в Африке - с использованием методов машинного обучения, направленных на продвижение применения данных EO для решения проблем глобального Юга.
Решения для глобального развития
Что же остается при этом глобальному сообществу разработчиков?
Больше данных в сочетании с улучшенным доступом к ним и большим количеством инструментов для работы - это только хорошо. С помощью облачных вычислений и методов машинного обучения мы можем обрабатывать изображения в масштабах, о которых раньше невозможно было даже представить. Вместо того чтобы анализировать данные сцены за сценой, мы можем смотреть на страны или континенты и во времени.
Это нововведение позволит нам решать наши общие глобальные проблемы в континентальном масштабе. Заглянув в глубокий архив спутниковых данных, мы можем изучить влияние человеческой деятельности. Если вы по-прежнему не уверены в том, насколько данные наблюдения Земли важны для исследований в области глобального развития, взгляните на этот Google Time-lapse, который позволяет вам наблюдать за масштабами земных изменений.
За последние десять лет мы стали свидетелями резкого роста данных наблюдений за Землей. У нас есть не только политики открытых данных, но и технологии, позволяющие сделать эти данные доступными и доступными. Поставщики коммерческих данных достигают более высокого пространственного, спектрального и временного разрешения и находят новые инновационные способы создания и запуска спутников с меньшими затратами.
Возникают новые компании
Облачные вычисления и методы машинного обучения также используются для стимулирования роста новых стартапов, ориентированных на ML и EO. За последние пять лет появилось множество новых компаний по обработке изображений EO. Падение стоимости данных породило новые возможности для бизнеса, а вместе с ним и новую волну венчурного капитала, посеявшего эти новые предприятия. Карта рынка Seraphim Space Tech обобщает компании, которые сегодня работают в космосе. В нисходящем направлении, отчасти благодаря развитию облачных технологий, появились новые компании по обслуживанию данных, такие как Orbital Insight и Descartes Labs, которые оптимизируют существующий бизнес и расширяют социальные и экономические услуги для человечества.
В нашей следующей статье мы исследуем этот новый рынок онлайн-сервисов передачи данных и продуктов коммерческих организаций.
