Прогнозирование, обнаружение аномалий, прогнозная аналитика, эконометрика и многое другое

Отрасли во всех секторах генерируют и используют данные временных рядов для принятия важных бизнес-решений.

Используя прошлые данные, продуктовая сеть хочет знать, в какое время года рыночный спрос на конкретный продукт достигает пика; колл-центрам необходимо прогнозировать будущие объемы звонков, чтобы иметь достаточный персонал; компании, выпускающие кредитные карты, следят за мошенническими транзакциями - все эти бизнес-решения выигрывают от использования данных временных рядов.

Итак, цель этой статьи - рассказать о некоторых ключевых примерах приложений и типах технологий, используемых для анализа данных временных рядов в различных отраслях.

1. Понимание прошлого

Точки данных временного ряда - это снимки прошлого. Понимание исторических событий, закономерностей и тенденций - это некоторые основные индикаторы, которые отслеживают все компании. Они хотят понять, насколько хорошо они выступали в прошлом и куда они направляются в будущем. В настоящее время, с постоянно растущим объемом «больших данных» и необходимостью получения информации почти в реальном времени, анализ временных рядов становится важной частью бизнес-решений. Вот несколько из многих способов, которыми исторические данные помогают в принятии решений:

  • измерение и отслеживание ключевых показателей эффективности (KPI)
  • выявление особых событий, влияющих на спрос на продукцию
  • сравнение KPI по категориям продуктов и местоположениям
  • понимание тенденции и раннее определение направления бизнеса
  • определение сезонности и долгосрочного делового цикла
  • гипотетические факторы, влияющие на эффективность бизнеса
  • изучение воздействия изменений политики

Базовое понимание исторических событий с помощью данных временных рядов не требует сложного моделирования, просто построение графика зависимости данных от времени может дать очень важную информацию. Раньше электронные таблицы были достаточно хороши, чтобы создавать впечатляющие визуальные истории и идеи. В настоящее время большинство инструментов статистического анализа и анализа данных (например, Python, Tableau, PowerBI) могут достаточно хорошо обрабатывать данные временных рядов для создания диаграмм временных рядов, информационных панелей и т. Д.

2. Прогнозирование будущего.

Еще одно популярное использование данных временных рядов - это прогнозирование, то есть составление прогнозов на краткосрочное, среднесрочное и долгосрочное будущее. Многие проблемы прогнозирования, с которыми предприятия обычно сталкиваются каждый день, имеют временное измерение, и именно поэтому данные временных рядов так важны для прогнозирования. Вот несколько приложений для прогнозирования в разных секторах:

  • правительства делают прогнозы роста населения для развития адекватной общественной инфраструктуры
  • климатологи восстанавливают исторические данные и используют их для прогнозов будущего климата
  • коммунальные предприятия прогнозируют будущий спрос для необходимого расширения бизнеса
  • предприятия прогнозируют будущий спрос на свою продукцию, чтобы обеспечить достаточный запас продукции

Прогнозирование временных рядов - важная часть технологий науки о данных и машинного обучения, которые включают подгонку статистических моделей / моделей машинного обучения для составления прогнозов. Эти инструменты так же просты, как экстраполяция исторических тенденций в будущее, к сложным стохастическим моделям авторегрессии, таким как ARIMA [читайте: Прогнозирование временных рядов: от простого к ARIMA и далее]. Такие модели глубокого обучения, как долгосрочная краткосрочная память (LSTM) и эконометрика, все больше усложняют методы прогнозирования.

3. Специализированные бизнес-приложения

3.1 Обнаружение аномалий

Аномалия (или выброс) - это любое необычное наблюдение в данных. Внезапный всплеск транзакций по кредитным картам может квалифицироваться как аномалия, если он является неожиданным, учитывая историческое поведение клиента при транзакциях. Точно так же, если на графиках временных рядов есть всплески и провалы любых транзакций / точек данных, они также могут квалифицироваться как выбросы.

Обнаружение аномалий - это хорошо изученная область, в которой доступно множество инструментов и методов. Существует несколько пакетов R, предназначенных для обнаружения аномалий, таких как tsoutlier и AnomalyDetection.. Вот некоторые бизнес-приложения:

  • Финансы: обнаружение мошенничества с кредитными картами и финансовыми операциями
  • Сетевая безопасность: обнаружение сетевых вторжений на основе аномального трафика в компьютерных сетях.
  • Здравоохранение: аномальные состояния пациента на основании считывания записей электрокардиограммы (ЭКГ) и пульса сердца.
  • Астрономия: обнаружение выбросов при наблюдении особенностей и характеристик звезд и галактик. Самым известным из всех, вероятно, является обнаружение гравитационных волн.

3.2 Сравнительный анализ

Сравнительный анализ - это способ показать сходства и различия между наблюдениями, зависящими от времени. Его также можно использовать для сравнения производительности нескольких объектов. Например, построение временных рядов данных о росте населения по разным странам может дать важную информацию о том, как движется одна страна по сравнению с другой.

3.3 Корреляционный анализ

Корреляция обычно понимается как взаимосвязь между двумя случайными величинами и обычно отображается на двумерных диаграммах рассеяния. Две случайные переменные временного ряда могут точно так же выявить корреляцию / ассоциацию. Построив многомерные временные данные, легко определить связь между двумя характеристиками (например, продажи и прибыль). Эта связь может подразумевать или не подразумевать причинно-следственную связь, но это хорошая отправная точка для поиска характеристик, связанных с выходной переменной, и их использования в статистическом анализе.

Помимо визуализации графиков временных рядов, существуют количественные показатели, которые также используются для измерения корреляций временных рядов - коэффициент Пирсона является одним из таких показателей.

3.4 Эконометрический анализ

Прогнозная аналитика - это хорошо зарекомендовавшая себя техническая область, которая в значительной степени опирается на статистику и машинное обучение для прогнозирования будущих результатов. В предметной области также используются методы из специализированной экономической дисциплины - эконометрика. Расширенный статистический анализ, такой как модели панельных данных (например, модели с фиксированными и случайными эффектами), в значительной степени опирается на многомерные продольные наборы данных (временные ряды). Ниже приведены некоторые приложения для эконометрики:

Выводы

Данные временных рядов предоставляют множество возможностей для аналитики и приложений во всех областях приложений. Исторический анализ, прогнозирование, обнаружение аномалий и прогнозная аналитика - лишь некоторые из этих возможностей. Новые аналитические рубежи также появляются с развитием новых инструментов и методов. Искусственные нейронные сети (например, LSTM) и эконометрика являются передовыми рубежами в области анализа данных временных рядов. Как опытные, так и начинающие специалисты по данным могут внести огромный вклад в свои области, воспользовавшись этими инструментами или, возможно, разработав новые.