Интерпретация мер погрешности для данных временных рядов и понимание производительности вашей модели, чтобы выбрать лучшую.

В этой статье мы поговорим о типах методов измерения ошибок при работе с данными временных рядов и о том, как вы можете выбрать лучшую модель из созданных ранее, таких как ETS или модель ARIMA, и найти лучшие на основе графиков ACF и PACF.

Ошибки, зависящие от масштаба

Ошибки, зависящие от шкалы, такие как средняя ошибка (ME), средняя ошибка в процентах (MPE), средняя абсолютная ошибка (MAE) и среднеквадратичное значение. погрешности (RMSE) основаны на заданной шкале, которая для нас является нашим временным рядом, и не может использоваться для сравнений в другой шкале. Например, мы не будем брать эти значения ошибок из модели временных рядов поголовья овец в Шотландии и сравнивать их с прогнозом производства кукурузы в США.

  • Средняя ошибка (ME) показывает среднее значение разницы между фактическими и прогнозируемыми значениями.
  • Средняя ошибка в процентах (MPE) показывает среднее значение разницы в процентах между фактическими и прогнозируемыми значениями. И ME, и MPE помогут определить, являются ли прогнозы несоразмерно положительными или отрицательными.
  • Среднеквадратичная ошибка (RMSE) представляет собой стандартное отклонение выборки различий между предсказанными и наблюдаемыми значениями. Эти индивидуальные различия называются остатками, когда вычисления выполняются над выборкой данных, которая использовалась для оценки, и называются ошибками прогнозирования при вычислении вне выборки. Это отличное измерение для использования при сравнении моделей, поскольку оно показывает, на сколько отклонений от среднего падают прогнозируемые значения.
  • Средняя абсолютная ошибка (MAE) складывает абсолютную разницу между фактическим и прогнозируемым значениями и усредняет их. Он менее чувствителен к случайным очень большим ошибкам, поскольку не компенсирует ошибки в вычислениях.

Процент ошибок

Ошибки в процентах, такие как MAPE, полезны, потому что они не зависят от масштаба, поэтому их можно использовать для сравнения прогнозов между различными рядами данных, в отличие от ошибок, зависящих от масштаба. Недостатком является то, что его нельзя использовать в серии с нулевыми значениями.

  • Средняя абсолютная процентная ошибка (MAPE) также часто бывает полезна для целей отчетности, поскольку она выражается в общих процентах и ​​будет иметь смысл даже для тех, кто не знает, что представляет собой «большую» ошибку в терминах. потраченных долларов или проданных виджетов.

Безмасштабные ошибки

Безмасштабные ошибки были введены совсем недавно, чтобы предложить независимую от шкалы меру, которая не имеет многих проблем других ошибок, таких как процентные ошибки.

  • Средняя абсолютная масштабируемая ошибка (MASE) - еще один относительный показатель погрешности, применимый только к данным временных рядов. Он определяется как средняя абсолютная ошибка модели, деленная на среднее абсолютное значение первой разности ряда. Таким образом, он измеряет относительное уменьшение ошибки по сравнению с наивной моделью. В идеале его значение будет значительно меньше 1, но относительно сравнения других моделей той же серии. Поскольку это измерение погрешности является относительным и может применяться ко всем моделям, оно считается одним из лучших показателей для измерения погрешности.

Чтобы узнать больше о предмете, см. Этот 4-страничный документ Роба Хайндмана, профессора статистики Университета Монаша в Австралии.

Когда вы прогнозируете значения с помощью ARIMA и ETS и сравниваете эти прогнозируемые результаты в инструменте сравнения TS, если вы также используете статистический инструмент Alteryx.

Заключение

Надеюсь, эта статья даст вам краткое представление о том, как оценить вашу модель, сравнить их и выбрать лучшую, если вы работаете над проблемой временных рядов и строите модели ETS или ARIMA. Подробное обсуждение того, как построить модели ETS, можно прочитать здесь, а обсуждение того, как построить модель ARIMA, можно прочитать подробно здесь.

Эта статья изначально опубликована 30 октября 2020 года на сайте Medium.

Спасибо!