Посыл дождя когда-то приписывался божествам. Сегодня мы знаем, что это не так, но наши возможности прогнозирования дождя все еще далеки от божественных. ИИ помог со многими проблемами, но может ли он сделать прогноз дождя идеальным, мы узнаем в этом блоге.

В использовании искусственного интеллекта и машинного обучения в области прогнозирования погоды нет ничего нового, но с появлением глубокого обучения и очень больших моделей количество вариантов использования, которые могут быть решены с его помощью, растет.

Область прогнозирования погоды кажется естественной средой для машинного обучения из-за большого количества данных. Данные о погоде, такие как температура, влажность и количество осадков, собирались в течение длительного времени (более 100 лет в некоторых местах), и это кажется очевидным направлением для машинного обучения.

Спутниковые снимки атмосферы Земли также доступны уже довольно давно.

Один из самых уважаемых мировых погодных провайдеров, ECMWF, утверждает, что ежедневно производит 233 ТБ данных.

Чем больше модель машинного обучения, тем более сложные задачи она может решать и тем больше данных ей требуется. Но система Земли очень сложна, особенно в наши дни, когда антропогенное изменение климата приводит к более быстрым погодным изменениям и большему количеству экстремальных погодных явлений.

Лучшие погодные модели сегодня - это числовые модели. Они моделируют атмосферные условия с помощью систем нелинейных дифференциальных уравнений с нелинейными зависимостями.

Решение этих сложных уравнений требует большого количества вычислений и больших суперкомпьютеров. Их можно упростить, если решать их на меньших разрешениях. Вот почему большинство глобальных моделей выводят прогнозы в сетке 9 км x 9 км. Региональные модели, как правило, выводят сети размером 5 км x 5 км.

Хотя это упрощает вычисления, продолжительность одного запуска обычно составляет около 2–6 часов на высокопроизводительном компьютере (суперкомпьютере). Таким образом, требуется не только большая и дорогая инфраструктура, но и дорогое обслуживание и запуск по несколько раз в день.

Это прекрасно работает, если район или город топографически просты, без высоких гор или больших зеленых зон. Для этих более сложных случаев модели могут быть предвзятыми или просто менее точными.

Краткосрочный прогноз погоды или прогноз текущей погоды

Nowcasting - это прогноз погоды на очень короткий период, до 3 часов (некоторые ресурсы определяют его как до 2 часов, некоторые до 6). Этот блог будет посвящен краткосрочному прогнозированию дождя на основе метеорологических радаров, которые регистрируют отражательную способность облаков, используемых для расчета интенсивности дождя.

Большинство глобальных и региональных численных моделей погоды предсказывают дождь (а также другие параметры через 1 час или чаще за 3 часа). Как упоминалось ранее, для расчета этих прогнозов может потребоваться 2–6 часов.

Краткосрочные прогнозы количества осадков представляют интерес для ряда отраслей. Сельскохозяйственный сектор может защитить посевы, если на их территорию надвигается сильный дождь и, возможно, град. Стандартные численные модели часто работают со слишком маленьким разрешением, чтобы обеспечить такой прогноз, и не включают в себя последние данные о погоде, которые имеют решающее значение для прогнозирования таких быстро возникающих явлений.

Опрыскивание сельскохозяйственных культур не следует проводить непосредственно перед дождем, потому что дождь вскоре после нанесения может смыть продукт с листьев и значительно снизить уровень защиты или просто промыть продукт слишком глубоко в почву или потечь со стоками воды.

Аэропорты также используют данные прогнозирования текущей погоды для перенаправления входящего трафика и направления самолетов вокруг опасных зон или облаков. Из-за суровых погодных условий и погодных условий аэропорт может быть закрыт. Задержки и отмена рейсов обходятся дорого в краткосрочной перспективе и, если мероприятие не организовано должным образом, также негативно сказываются на репутации как авиакомпаний, так и аэропортов.

Другие отрасли также могут получить выгоду: организаторы мероприятий могут отложить мероприятия на открытом воздухе, если приближается ливень, организаторы концертов под открытым небом могут вовремя защитить свое оборудование и т. Д.

Машинное обучение и погодные модели

Методы машинного обучения уже довольно давно используются в некоторых частях конвейеров численных моделей погоды, например:

  1. коррекция смещения спутниковых наблюдений
  2. изучение ошибки модели при усвоении данных
  3. эмуляция компонентов модели для увеличения вычислительной эффективности в модели прогноза
  4. локальное масштабирование выходных данных модели для улучшения прогнозов
  5. мониторинг ИТ-инфраструктуры.

Но конечная цель машинного обучения в прогнозировании погоды - создать инструмент, который может использовать информацию о текущем состоянии атмосферы и предсказывать более позднее время. После обучения такой инструмент можно использовать для прогнозирования будущего и использовать в качестве текущих численных моделей погоды.

В области глубокого обучения за последние несколько лет произошли огромные успехи, и в наши дни почти каждая современная задача компьютерного зрения основана на глубоком обучении. Глубокий означает, что он использует глубокие нейронные сети с большим количеством слоев. Для обучения таких сетей на нескольких графических процессорах может потребоваться несколько дней, но после обучения логический вывод обычно занимает меньше секунды.

Это означает, что инфраструктура на основе глубокого обучения может предоставлять прогнозы в течение нескольких минут после получения новых данных. Это позволяет всегда использовать самые свежие доступные данные и предоставлять быстро обновляющиеся прогнозы.

Поскольку сейчас глубокое обучение очень популярно, оно влияет на разработку оборудования, облачных вычислений, графических процессоров и суперкомпьютеров.

Питер Дьюбен, ученый ЕЦСПП, работающий над численными методами, заявляет, что:

… Машинное обучение сильно влияет на развитие суперкомпьютеров будущего. Это означает, что сообществу специалистов по моделированию погоды и климата в ближайшем будущем необходимо будет узнать, как эффективно использовать такое оборудование, оптимизированное для очень специфических приложений (требующих использования плотной линейной алгебры с очень низкой числовой точностью).

Прогнозирование местного количества осадков с использованием радиолокационных карт

Одной из моделей сквозного прогнозирования является прогнозирование местных осадков с использованием радиолокационных карт. Ее легко сформулировать как задачу компьютерного зрения, в которой на основе последовательности радиолокационных карт должна быть предсказана будущая карта.

Китайский стартап ColorfulClouds специализируется на аналогичной задаче - исправлении вывода существующих систем прогнозирования текущей погоды, таких как NOAA, которые не лишены ошибок:

Сегментация фильтрует и удаляет ложные эхо-сигналы от объектов без осадков, таких как здания, холмы, птицы и самолеты, которые могут появляться на радиолокационных изображениях отражательной способности.

Хотя улучшение результатов численного прогноза текущей погоды является интересной задачей, группе исследователей из Google удалось полностью заменить числовую модель прогноза погоды на архитектуру модели U-Net. Их модель превосходит три широко используемые модели для прогнозирования текущей погоды: оптический поток, модель постоянства (повторение последнего кадра) и модель быстрого обновления высокого разрешения (HRRR) от NOAA. Кроме того, метод глубокого обучения значительно быстрее и дешевле, чем численные методы, для работы которых требуются суперкомпьютеры.

Несмотря на многообещающие результаты, использование методов глубокого обучения для прогнозирования текущей погоды по радиолокационным картам имеет свои ограничения. Хотя и медленные, но численные алгоритмы значительно лучше предсказывают погоду на более длительных временных горизонтах (6 часов +). Технически это выходит за рамки области прогнозирования текущей погоды, но также показывает, что одних исторических данных недостаточно, когда дело доходит до долгосрочного прогнозирования погоды. Никто не может сказать, кроме будущего, будут ли преобладать методы глубокого обучения или комбинация численных методов и методов глубокого обучения.

Чего ждать дальше?

Искусственный интеллект и машинное обучение с каждым годом проникают во все больше и больше отраслей. Быстрое совершенствование моделей сделало ML яркой звездой, от которой мы ожидаем революционных достижений, способных подорвать целые отрасли. В некоторых случаях это может быть правдой, например, в индустрии автономных транспортных средств, но для многих, включая отрасль прогнозирования погоды, вывод все еще остается немного расплывчатым.

Единственное, в чем можно быть уверенным, это то, что ML очень хорошо работает, играя вспомогательную роль в классических процессах. С точки зрения прогнозирования погоды это означает, что мы не можем ожидать, что модели машинного обучения полностью заменят всю текущую технологию прогнозирования, но мы уже видели, что машинное обучение может помочь улучшить существующую численную модель погоды.

Мы считаем, что эта тенденция будет продолжаться, но это не исключает небольшую вероятность того, что однажды модели машинного обучения действительно могут полностью заменить физическую модель погоды.

Первоначально опубликовано на https://www.velebit.ai.