В прошлой статье мы обсуждали расширение алгоритма Innovations для более общего процесса ARMA(p,q), что позволило нам делать прогнозы для произвольного количества временных шагов в будущем. Однако мы до сих пор не увидели, как оценить фактические коэффициенты модели ARMA(p,q). В этой статье мы увидим два алгоритма для оценки коэффициентов AR(p), а в следующей статье мы увидим, как оценивать MA(q) и начнем изучать совместную оценку коэффициентов ARMA(p,q). Давайте прыгнем прямо в это!
Оценка AR(p) :: Yale-Walker
В реальных задачах ACVF проще всего оценить, используя выборочные данные. Другими словами, напомним, что мы можем оценить его как
Из чего мы, в свою очередь, можем оценить автокорреляцию как
Уравнения Йейла-Уокера основаны на методе моментов для построения статистики, которая помогает нам оценивать такие коэффициенты.
Рассмотрим процесс AR(p) с коэффициентами
Тогда его оценочные значения (шляпа phi) удовлетворяют уравнениям
где
Здесь напомним, что большая Гамма-матрица симметрична со всеми корреляциями между 0 и (p-1), а другой вектор является гамма-вектором всех корреляций от 1 до p. Кроме того, это позволяет оценить дисперсию как
, где
Более того, для больших n и при «истинной» модели AR(p) (то есть при правильном задании p)
То есть параметры следуют многомерному нормальному распределению, как указано выше.
Доказательство
Напомним, что для среднего нулевого процесса
. Если наш процесс AR(p), то
То есть у нас так
Отсюда следует, что
Это означает, что
Другими словами, у нас есть система линейных уравнений p с переменными p; мы можем использовать их для решения для коэффициентов phi. Записано:
Обратите внимание, что первое уравнение не зависит от остальных! Поэтому, заменив типовые версии ACVF и записав в векторной записи, мы видим, что это становится
И поэтому мы можем оценить коэффициенты, найдя фи-вектор, как указано.
Примечание
Предположим, что истинной моделью является модель AR(p), но вместо этого мы подгоняем модель AR(m), где m‹p. Если это произойдет, в истинной модели будут отсутствовать коэффициенты, и, таким образом, оценочные коэффициенты больше не будут (статистически) непротиворечивыми! С другой стороны, если m › p , то мы можем написать
, так что дополнительные параметры, которые мы указали, установлены равными нулю, а модель по-прежнему восстанавливает истинный AR (p).
Алгоритм Бурга
Напомним, что PACF определяется выражением
где гамма-матрица и вектор задаются выражением
Напомним, что PACF сообщает нам, какая часть изменчивости нашего значения в момент времени t объясняется значением с задержкой p, если мы подгоняем BLP с т компонентов. Если у нас есть каузальная модель AR(p), то
Идея заключается в следующем: мы также можем использовать PACF для оценки коэффициентов AR(p). Алгоритм Берга именно это и использует.
Рассмотрим процесс AR(p).
с учетом предыдущих наблюдений i.
, где
Обратите внимание, что для каждого i мы смотрим на инновацию, которую мы получаем, используя BLP с использованием предыдущих наблюдений i для просмотра конкретного время в нашей последовательности; то есть он работает в обратном направлении от последней временной точки до самой ранней точки, которую мы можем пройти по i наблюдениям.
где
Обратите внимание, что и u, и v являются функциями данных и параметров phi!
Кроме того, мы используем
Вы можете представить это как оценку коэффициентов, оптимизирующих (минимизирующих) смесь между усредненными соседними прошлыми и будущими наблюдениями для каждого временного шага, и рассматривая их по очереди.
6. Хотя доказательство определенно выходит за рамки, тем самым мы фактически оценили набор коэффициентов PACF
Которые действительны до шага p. На этом этапе мы, по существу, возвращаемся к алгоритму Дурбина-Левинсона, то есть за nшагов мы
7. Это, в свою очередь, дает набор коэффициентов, которые можно использовать в качестве оценок
То есть последнее значение значений phi на каждом временном шаге, которые составляют набор оцененных коэффициентов AR(p).
8. Для больших n и заданной «истинной» модели AR(p) верно, что
Эта асимптотическая нормальность обеспечивает «хорошие» свойства, когда речь идет о доверительных интервалах.
И это почти все! Хотя это может быть несколько запутанным из-за обозначений и различных формул и уравнений, основная идея состоит в том, что алгоритм Берга производит набор более статистически достоверных оценок модели AR (p) (при условии, что эта оценка была правильно указана), рассматривая не только проекции и BLP, которые используют наблюдения из прошлого, но и даже в «будущем», учитывая имеющиеся данные.
Как сделать R
Как обычно, сначала мы импортируем пару полезных библиотек.
Оценка коэффициентов AR(p)
Сначала мы начнем с создания некоторого искусственного процесса AR(4) вместе с некоторыми сгенерированными из него данными, а затем перейдем к использованию алгоритмов, которые мы видели, для оценки его коэффициентов. Во-первых, давайте сгенерируем некоторые данные:
Теперь давайте проверим корни этого процесса, чтобы убедиться, что он стационарен,
Итак, мы видим, что у нас есть все четыре различных (обратных) корня, которые находятся внутри круга, поэтому процесс является причинным и стационарным. (Хотя посмотрите, что один из них близок к краю!!! То есть, хотя процесс и стационарный, чем сложнее будет оценка, чем больше дисперсия, тем хуже производительность). Теперь сгенерируйте некоторые данные и сравните образцы ACF и PACF с правдой.
Это определенно не похоже на белый шум! Давайте проверим его функции ACF и PACF:
Обратите внимание, что количество лагов, выходящих за пределы, равно 4; заданная степень полинома AR(4). В приведенном выше коде мы также нанесли фактические значения (в виде точек). Также обратите внимание, насколько оценочные значения ACF и PACF на самом деле близки к истинным.
Теперь попробуем подогнать пару алгоритмов с помощью функции ar:
В первой части блока кода мы сопоставляем три модели: Йула-Уокера, метод Бурга и гауссовский временной ряд MLE. Затем мы создаем функцию для упаковки, чтобы повторить этот процесс, а также упаковать всю необходимую информацию в один большой tibble объект. Затем мы можем проверить таблицы с информацией об истинных и подобранных коэффициентах и стандартных ошибках следующим образом:
Обратите внимание, что даже несмотря на то, что мы задали слишком большую спецификацию модели, дополнительные коэффициенты на самом деле очень близки к 0! В общем, лучше «переопределить» модель, но позже мы увидим простой, но надежный метод выбора модели.
Давайте теперь пойдем и визуализируем фактические коэффициенты и доверительные интервалы, которые мы получаем из таблиц для различных методов:
Теперь мы хотели бы получить некоторую диагностику с моделью; мы также можем использовать функцию Arima, чтобы подобрать модель AR (4) с использованием MLE и получить диагностику.
То есть мы явно указываем порядок модели, а затем видим соответствующие оценочные коэффициенты, сигма², логарифмическое правдоподобие и другие оценочные показатели. Проверка выходов остатков
Из чего мы видим, что модель действительно выглядит как белый шум, и тоже приблизительно нормально распределена. Тест Льюнга-Бокса НЕ отвергает гипотезу о том, что остатки представляют собой белый шум.
В следующий раз
В следующей статье мы продолжим рассмотрение алгоритмов для независимой оценки коэффициентов MA(q), затем рассмотрим, как объединить их вместе с другими алгоритмами AR(p) для оценки коэффициентов ARMA(p,q) в целом, и, наконец, , мы изучаем временные ряды Гаусса в последующих статьях, одно из наиболее широко используемых предположений для оценки параметров ARMA(p,q). До скорого!
Последний раз
Прогнозирование с помощью моделей ARMA(p,q)
Главная страница
Следуй за мной в
- https://blog.jairparraml.com/
- https://www.linkedin.com/in/hair-parra-526ba19b/
- https://github.com/JairParra
- https://medium.com/@hair.parra
