Крис Шихи и Аарон Террасас

Идея о том, что рынки грузоперевозок (как и многие другие рынки) подвержены периодическим подъемам и спадам, хорошо зарекомендовала себя в отрасли грузоперевозок, но любой практикующий специалист признает, что определение пиков и спадов рынка в режиме реального времени остается скорее алхимией, чем наукой. Прогнозы переломных моментов часто бывают неверными, и среди наблюдателей за отраслью почти постоянно ведутся споры о том, неизбежен ли перелом.

Эта техническая проблема не уникальна для отрасли грузоперевозок. Экономисты уже давно пытаются определить в реальном времени поворотные моменты в таких областях, как финансы и макроэкономическая политика. Их опыт десятилетий исследований свидетельствует о том, что серебряных пуль не существует, но есть возможности для скромных технических улучшений по сравнению с текущими практиками грузовой отрасли.

В этом сообщении блога мы рассказываем, как Convoy Data Science опирается на исследования на стыке машинного обучения и эмпирической макроэкономики, чтобы помочь нашей команде понять точку зрения на один из самых сложных и важных для бизнеса вопросов грузовой отрасли.

Проблема: мы все блуждаем в тумане неопределенности

Экономическое прогнозирование иногда сравнивают с прогулкой в ​​густом тумане: мы знаем в мельчайших подробностях местность, по которой путешествовали, но имеем лишь абстрактное представление о том, будет ли следующим шагом каменная стена или край обрыва. С течением времени нет однозначного ответа на вопрос, является ли единичное обновление данных всплеском, который нужно не заметить, или первым залпом устойчивой тенденции. Подделки головы досадно распространены.

Ясный урок таков: хотя мы можем строить предположения о силах, которые, как мы ожидаем, будут формировать рынки на видимом горизонте, не существует универсальных законов, определяющих, когда маятник качается в пользу спроса или предложения. Взлеты и падения очевидны только в ретроспективе — на финансовых рынках, в экономике в целом и, как мы узнали в Convoy, на рынке грузоперевозок.

Но лица, принимающие решения, должны принять решение, даже в условиях всепроникающей неопределенности, и ставки в этих суждениях не являются тривиальными. Прогнозирование направления рынка грузоперевозок — в частности, спотовых рыночных цен на услуги грузоперевозок — имеет важное значение для ценообразования долгосрочных контрактов на перевозку, на которые полагаются крупные розничные торговцы и производители при перемещении своей продукции. Неправильное определение направления цен (тем более самой цены) может иметь катастрофические последствия для долгосрочной жизнеспособности контракта.

Решение: Скрытая марковская модель бизнес-циклов грузоперевозок

Поколения макроэкономистов посвятили свою карьеру разработке более надежных инструментов для обнаружения экономических поворотных моментов, чем эвристика пальчик против ветра, все еще распространенная в грузовой отрасли. Одним из таких инструментов является калькулятор вероятности рецессии для экономики США, разработанный экономистами Марсель Шове и Джереми Пигер (см., например, здесь и здесь).

В подходе Шове-Пигера используется скрытая марковская модель (СММ) — обученная на несельскохозяйственной занятости, промышленном производстве, реальных личных доходах и реальных продажах в обрабатывающей промышленности — для определения вероятности того, что самые последние данные отражают устойчивый переломный момент в экономике США. (Официальным арбитром этих поворотных моментов является группа экономистов, входящих в Комитет по датированию бизнес-циклов Национального бюро экономических исследований.) Это творческое и нетрадиционное применение HMM, которые широко применяются в различных областях, начиная от речи признание геномики.

Ниже мы даем простое описание того, как работают HMM, их привлекательность как решения проблемы определения поворотных моментов рынка в режиме реального времени и того, как мы создали HMM для рынка грузовых перевозок.

Простое объяснение скрытых марковских моделей

Три свойства HMM делают их особенно подходящими для определения поворотных моментов рынка:

Во-первых, основные допущения HMM согласуются с экономической теорией движения рыночных цен. HMM моделирует наблюдаемые изменения цен как случайный результат некоторого базового распределения вероятностей. Моделирование ценовых движений в виде случайной последовательности согласуется с экономической теорией (и эмпирическими данными) примерно эффективных рынков в широком диапазоне отраслей.

Во-вторых, основное распределение вероятностей, из которого взяты наблюдаемые изменения цен, может меняться со временем. Подгонка модели к данным требует выбора конечного числа возможных основных распределений (обычно называемых «состояниями»), а затем нахождения параметров наилучшего соответствия (например, среднего значения и дисперсии), связанных с каждым состоянием. Что касается вопросов о деловом цикле, то количество штатов для выбора очевидно: их два, государство роста и государство рецессии.

В-третьих, результат модели легко интерпретируется для нетехнической аудитории. Ключевым преимуществом HMM для приложения Convoy является то, что он позволяет проводить строгую количественную оценку вероятности того, что самая последняя последовательность рыночных данных означает смена режима (т. е. данные перешли из одного «состояния» в другое, например, из экспансии в рецессию или наоборот).

Смоделированный пример

Рассмотрим следующий пример, построенный на смоделированных данных.

На рисунке 1 ниже красные и белые точки на верхней панели взяты из одной из двух гауссиан. Красные точки взяты из гауссианы с положительным средним значением, которое мы называем состоянием 0, а белые точки взяты из гауссианы со слегка отрицательным средним значением, которое мы называем состоянием 1. Если мы интерпретируем эти числа как последовательные изменения, то белые точки (состояние 1) будут связаны с длительным снижением наблюдаемых данных. Точки, нарисованные в виде точек, были правильно классифицированы HMM как находящиеся в правильном состоянии, в то время как точки, нарисованные в виде крестиков, были классифицированы неправильно.

Рисунок 1. Пример выходных данных указанной скрытой марковской модели и результаты классификации наилучшего соответствия этим данным. Белые точки обозначают рецессию.

Хотя есть несколько незначительных неправильных классификаций, длинный участок белых точек классифицируется правильно для каждой точки, когда вся модель обучается сразу на полных данных, и только с одной ошибкой классификации, когда модель обучается только на данных, наблюдаемых до тот период. Изменение режима обнаружено, потому что первая белая точка достаточно отрицательна, чтобы вероятность того, что система находится в состоянии 1, превышала 50 процентов (показано на нижней панели). В середине «спада» есть несколько белых точек выше нуля, которые, хотя технически они с большей вероятностью являются следствием распределения состояния 0, чем распределения состояния 1, тем не менее правильно классифицируются как состояние 1.

Как это могло произойти? Последним атрибутом HMM является то, что он понимает, что режимы обычно существуют в течение определенного периода времени. Он фиксирует это, предполагая, что существует определенная вероятность либо перехода между состояниями от одной точки к другой, либо пребывания в одном и том же состоянии. В этом примере мы указали, что вероятность перехода составляет 10 %, а вероятность остаться в том же состоянии — 90 %. Таким образом, лишь незначительное положительное значение данных, появившееся после ряда отрицательных значений, не является достаточно убедительным доказательством смены режима. Вы можете увидеть соответствующую вероятность падения в состоянии 1 для этих точек, но только один раз опускаясь ниже 50% в последовательно подобранных данных, и даже тогда не приближаясь к нулю.

В совокупности это делает HMM отличным инструментом для диагностики переключения режимов в режиме реального времени. В приведенном выше примере даже ложные классификации «рецессии» не имеют вероятности, близкой к 1. Установив соответствующие пороговые значения, мы можем создать хороший детектор рецессии.

Распространение модели на рынок грузоперевозок

Вдохновленные работой Шове и Пайгера, мы решили построить HMM для определения поворотных моментов на рынке грузоперевозок.

Первым шагом была замена общих экономических показателей, используемых Шове и Пайгером, показателями, которые более тесно связаны с отраслью грузоперевозок и для которых имеются достаточно длинные временные ряды. Это не тривиальный выбор. Хотя существует обширная теоретическая литература (а в некоторых случаях и законодательные руководства) о показателях, которые следует отслеживать при выявлении более широких экономических колебаний, основы, лежащие в основе подъемов и спадов, связанных с грузовыми перевозками, стоят на гораздо более шаткой почве.

Нашей отправной точкой была интуиция, полученная из классической кейнсианской экономической теории, о том, что колебания в экономике грузоперевозок обусловлены изменениями совокупного спроса на перевозку товаров. Это привело к трем категориям обучающих данных:

  • Модели, обученные на данных, предполагают, что точки поворота четко идентифицируются экзогенными шоками спроса в секторах экономики, которые используют грузовые перевозки для перемещения товаров — например, такие показатели, как розничные продажи с поправкой на инфляцию, объем производства, импорт и начало строительства.
  • Модели, обученные на данных, которые включают отраслевые сводные данные, такие как индекс тоннажа грузовиков Американской ассоциации грузоперевозок и грузовой индекс Cass Information Systems, хотя эти индексы, как правило, уязвимы для идиосинкразических методологических ограничений и известных предубеждений.
  • Модели, которые включают показатели со стороны предложения, такие как производство и продажи тяжелых грузовиков и прицепов, а также занятость в отрасли грузоперевозок. Включение показателей со стороны предложения запутывает кейнсианскую причинно-следственную связь строго моделей со стороны спроса, но может обеспечить более высокую точность, если (как это обычно бывает) реальность более запутана, чем теория.

Результаты наиболее эффективной модели, включающей производство тяжелых грузовиков и прицепов, а также отечественное производство, показаны ниже. (Для всех моделей мы преобразовали метрики, чтобы обеспечить стационарность, и нормализовали их для обучения на HMM с двумя состояниями.) Затем мы использовали следующие два правила для обозначения рецессий грузоперевозок с высокой степенью достоверности на основе вероятностей, которые произвел HMM:

  1. Если в настоящее время рецессия не наблюдается, объявите ее, если: вероятность рецессии в течение двух последующих месяцев превышает 0,9, или если в каком-либо месяце вероятность рецессии превышает 0,95.
  2. Если в настоящее время рецессия, объявите о расширении, если: в течение двух последующих месяцев вероятность падения ниже 0,1, или если в каком-либо месяце вероятность рецессии ниже 0,05.

Рисунок 2 ниже иллюстрирует две разные вероятности. Рецессии грузоперевозок с высокой вероятностью, как определено выше, обозначены серыми заштрихованными областями.

Один из них — это вероятность в реальном времени, когда в каждый момент времени модель обучается только на данных, доступных в этот момент. Это то, что мы видим на практике по мере развития рынка. Вторая — «сглаженная» вероятность, которая использует все доступные данные — исторические и будущие — и поэтому имеет более высокую точность и менее зашумлена.

Рисунок 2. Вероятность рецессии на рынке грузоперевозок

Когда мы сравниваем эти вероятности со спотовыми рыночными ценами на услуги грузоперевозок — окончательный показатель, который мотивировал наш первоначальный интерес к определению поворотных моментов на рынке грузоперевозок, — периоды рецессии надежно указывают на периоды падения цен, а за окончанием рецессии всегда следует продолжительный период. роста цен.

Горизонт не был побежден, но он был определен количественно

Последние пять лет — а тем более последние два года сбоев в цепочках поставок, связанных с пандемией, — показали нам, что неожиданные экономические потрясения не являются чем-то исключительным; они норм. Определение того, является ли отдельный месяц временным скачком или устойчивым разворотом рынка, имеет огромные последствия для любого бизнеса, пытающегося ориентироваться на рынке грузоперевозок. Современные торговые площадки требуют большей точности, чем практических правил.

Опираясь на исследования на стыке машинного обучения и эмпирической макроэкономики для разработки скрытой марковской модели вероятностей рецессии грузоперевозок, Convoy Data Science смогла помочь в принятии более эффективных решений, важных для бизнеса. Не существует единственной серебряной пули, и мы не претендуем на то, что наши вероятности — это всезнающее решение дьявольски сложной проблемы предсказания будущего. Но если рассматривать их среди ряда других показателей и результатов моделирования, они могут помочь лицам, принимающим решения в области грузоперевозок, избавиться от догадок с высокими ставками, которые исторически усугубляли нестабильность рынка.