В последних двух статьях мы рассмотрели ряд методов для независимой оценки коэффициентов AR (p) и MA (q), а именно метод Юла-Уокера, алгоритм Бурга и алгоритм инноваций, а также алгоритм Ханнана-Рисеннана, для совместной оценки коэффициентов ARMA (p, q) с использованием инициализированных коэффициентов AR (p) и MA (q) с предыдущими алгоритмами. Мы также упомянули, что эти методы, какими бы сложными они ни были, обычно плохо работают, когда дело доходит до работы с реальными наборами данных, поскольку легко указать истинную модель неправильно. Поэтому мы хотели бы сделать еще одно предположение: нормальность наблюдений. Они называются гауссовскими временными рядами.
Гауссовский временной ряд
Тогда его вероятность следует за многомерной нормальной плотностью, задаваемой формулой
где
Обратите внимание, что Gamma_ {n} действительно является функцией параметров, которые мы пытаемся максимизировать (это фи для части AR (p), тэты для MA (q) и квадрат сигмы для общей дисперсии). Отсюда следует, что K (i, j) действительно является функцией функции автоковариации, которая, в свою очередь, содержит такие параметры в зависимости от реальной модели. Поэтому мы хотели бы иметь возможность максимизировать эту вероятность для получения наиболее подходящего набора параметров модели. Однако наличие матрицы Gamma_n представляет две огромные проблемы: вычисления и максимизация ее обратной и определителя являются чрезвычайно затратными в вычислительном отношении и также не обеспечивают «дружественного» градиента.
Алгоритм инноваций для гауссовских временных рядов
Итак, как мы можем решить эту проблему? И снова на помощь приходит Алгоритм инноваций. Рассматривая инновации вместо фактических наблюдений сами по себе, мы можем выразить предыдущую вероятность как
где
являются функциями параметров фи и тета, но не сигма-квадрата.
Доказательство
- Позволять
- Позволять
- коэффициенты алгоритма инноваций.
- Обратите внимание, что инновация
- ошибка прогноза для j-го наблюдения.
- Напомним матрицу C_ {n}, определенную как
- Напомним также, что из алгоритма инноваций у нас также есть
- Можно показать, что
, то есть инновации некоррелированы, что означает, что
- Это также означает, что вектор инноваций
имеет диагональную матрицу ковариации, заданную формулой
где диагональные записи поступают непосредственно из алгоритма инноваций, поскольку
То есть они задаются рекурсивной формулой
Используя эти факты, мы получаем, что
, откуда следует, что
То есть мы можем заменить по вероятности:
В качестве определителя имеем
Таким образом, мы можем записать вероятность как
Но подождите! Хотя нам действительно удалось выразить вероятность в довольно красивой форме, мы все еще не можем оптимизировать для параметра сигма-квадрат независимо. Напомним, что для ARMA (p, q) алгоритм Innovations определяет W_ {t} как
, откуда следует, что
, так что
Таким образом, можно сделать вывод, что
Примечание. Напомним, что для модели ARMA (p, q) K {i, j} задается как
, из которого более отчетливо видна зависимость от параметров. См. Мою статью Инновационный алгоритм для моделей ARMA (p, q).
Гауссовские оценки MLE модели ARMA (p, q)
Теперь вопрос: как оптимизировать такую вероятность? Оказывается, можно найти MLE-оценки вида
и,
Доказательство
Мы можем выполнить некоторые простые алгебраические манипуляции следующим образом. Сначала мы применяем натуральный логарифм к вероятности, получая
Решение w.r.t. сигма-квадрат дает соответствующую оценку. Теперь, подключив это обратно к вероятности, получаем:
Пренебрегая константами, это означает, что оценки MLE параметров phi и theta имеют вид
Примечание
- Рассмотрим SS_ {Res} (сумму квадратов остатков)
Внутри суммирования числитель представляет собой квадрат ошибки предсказания, который определяется квадратом разницы между каждым наблюдением и его оценкой, полученной подходящим BLP при некоторых параметрах phi’s и theta’s. Затем это нормализуется MSE этого прогноза.
- Что делает нововведение «маловероятным»?
Обратите внимание, что
Следовательно, мы видим, что эта естественная нормализация необходима, потому что простой учет нововведений придал бы слишком большое значение ранним наблюдениям. Нормализуясь, они находятся в «равном положении».
- В уравнении
второй член можно рассматривать как своего рода регуляризацию среднего геометрического, дающую дополнительный штраф к вероятности больших значений r_ {j}.
- Обратите внимание, что указанная выше проблема оптимизации не имеет решения в закрытом виде. Однако мы можем использовать алгоритмы численной оптимизации, такие как градиентный спуск или алгоритм Ньютона-Рафсона. Однако эти алгоритмы требуют начальных значений рассматриваемых параметров; поэтому выбор «хороших начальных значений» может дать лучшие оценки и обеспечить более быструю сходимость. Некоторые хорошие варианты - это оценки, полученные с помощью других алгоритмов, таких как алгоритм Бурга и Ханнана-Риссанена.
- До появления современных методов оптимизации люди использовали отложенную оптимизацию, при которой цель оптимизации была упрощена до
Таким образом, ее можно решить аналитически, производя оценки
Однако эти оценки часто приводят к непричинным и / или необратимым решениям без наложения дополнительных ограничений, которые снова приводят к цели, аналогичной той, которую мы первоначально представили.
Асимптотическая нормальность гауссовских оценок MLE.
Теперь давайте просто посмотрим на несколько свойств нормальности полученных коэффициентов. Они полезны, например, для получения таких вещей, как доверительные интервалы для значений параметров. Позволять
быть истинными параметрами из оценок MLE в предыдущем разделе. Затем для большого n
где
за
за
На практике мы можем аппроксимировать матрицу дисперсии гессианом параметров, задаваемых формулой
где
Это удобно, потому что гессиан обычно вычисляется как часть некоторых алгоритмов оптимизации.
Последний раз
Оценка коэффициентов ARMA (p, q) (Часть II)
В следующий раз
Вот и все! В следующий раз мы узнаем о Выбор модели для моделей ARMA (p, q) и, наконец, увидим несколько исчерпывающих примеров прикладного анализа временных рядов с моделями ARMA (p, q) в R. Оставайтесь с нами и удачного обучения!
Полное введение в анализ временных рядов (с R) :: Выбор модели для ARMA (p, q)
В последнем разделе мы узнали о гауссовых временных рядах, мощное и гибкое предположение, когда речь идет о… hair-parra.medium.com »
Главная страница
Следуй за мной в
- Https://blog.jairparraml.com/
- Https://www.linkedin.com/in/hair-parra-526ba19b/
- Https://github.com/JairParra
- Https://medium.com/@hair.parra
