Мы прошли долгий путь: от изучения моделей изучения временных рядов, стационарных процессов, таких как MA(1) и AR(1), затем Классической модели декомпозиции, до Разностных и тесты на стационарность. Но как мы на самом деле делаем прогнозы?? Что ж, как сказал мой профессор статистики, начинать линейно — всегда хорошая идея. Так вот что мы будем делать! Имейте в виду, что в этом разделе мы будем использовать некоторые вычисления и вероятность, поэтому, если вам нужно освежить знания о вероятности, ознакомьтесь с этим обзором концепции, который я написал, или с этим превосходным документом CS229 Probability Review. Давайте прыгнем в это!
Лучший предсказатель X_{n+h}
Вспомните задачу получения наилучшего линейного предиктора для некоторой случайной величины, скажем, Y. Можно решить задачу оптимизации
То есть мы хотим свести к минимуму MSE (среднеквадратичную ошибку). Как мы можем найти такое значение c? Что ж, из вашего класса исчисления вы, возможно, помните, что в локальных минимумах и максимумах функции наклон равен нулю, поэтому один из способов — взять производные, установленные равными 0, и найти результирующее значение. Кроме того, такие функции, как квадратичная, называются выпуклыми, что гарантирует, что локальный минимум/максимум также является глобальным оптимумом. Если некоторые из этих слов не имеют для вас особого смысла, не беспокойтесь об этом (— Эндрю Нг), так как все, что вам нужно сейчас понять, это то, что вы можете получить наилучшее значение c таким образом, Я описал выше и что это значение является оптимальным (то есть лучшим, что мы можем иметь) для выпуклых функций. Однако любознательные могут прочитать эти слайды из Университета Стэндфорда о выпуклых функциях. Минимизация происходит следующим образом:
предполагая, что мы можем поменять местами производные и оператор ожидания (что мы можем сделать здесь, но еще раз, если вы спрашиваете, почему мы можем это сделать, проверьте этот пост). Таким образом, лучший предиктор — это не более чем ожидание Y!!!
Как мы можем обобщить предыдущее для поиска лучшего предиктора X_{n+h} по последней точке данных, скажем, некоторой функции X_{n}? Какой должна быть эта функция? Давайте сначала вспомним полезный инструмент: Закон полных ожиданий.
Закон полного ожидания
Почему это полезно? Ну, это добавляет зависимость от другой переменной. Что такое L.O.E. в том, что мы можем получить математическое ожидание некоторой переменной, которая зависит от другой, ступенчатым способом. Почему это работает? Хотя это и не общее доказательство, вот доказательство для счетных дискретных случаев:
В первой строке мы применяем определение ожидания X|Y, затем мы делаем это над внешним ожиданием. Переставляя термины, мы обнаруживаем, что на самом деле это не более чем ожидание одного только X! Если вы немного разбираетесь в теории меры, более общее доказательство можно найти в Википедии (это тоже оттуда). Вооружившись этими знаниями, мы теперь должны решить наш главный вопрос!
Лучший предсказатель X_{n+h} при заданном X_{n}
Давайте поймем, о чем это говорит:
- Предположим, мы рассматриваем функцию m от X_{n}. Насколько хорош m()?
- В идеале мы хотели бы, чтобы такая функция была близка к тому, что мы хотим предсказать, поэтому мы рассматриваем MSE!
- Поэтому мы хотим найти m(), который минимизирует MSE.
- Оказывается, такая лучшая функция — это просто ожидание X_{n+h} при заданном X_{n}!
Доказательство
Теперь L.O.E. пригодится!!
Если обозначения вас смущают, позвольте мне объяснить, что происходит: нижний индекс указывает, какое ожидание мы принимаем. В первой строке мы просто применяем L.O.E. с X := X_{n} и Y := X_{n+h}. Поскольку теперь внутреннее ожидание зависит от X_{n}, мы можем рассматривать его как фиксированную константу, и, следовательно, мы просто вернулись к лучшему предсказателю, который мы нашли раньше!! То есть условное ожидание, которое вы видите выше.
Лучший предиктор X_{n+h} с учетом X_{1},… ,X_{n}
Конечно, использование только одного наблюдения кажется немного… неинформативным, вам так не кажется? Разумнее использовать столько данных, сколько у вас есть или сколько вы считаете нужным: можно расширить предыдущую идею на набор случайных величин, следуя точно такой же логике!
Существование и уникальность (необязательно)
У математиков есть навязчивая идея показать, что все, что они придумали, является законным (что необходимо, но скучно для большой аудитории; я не виню вас, если вы это сделаете). В следующем разделе приводятся доказательства существования и уникальности такого предиктора. Однако, если вы этого не понимаете, не беспокойтесь об этом. Серьезно. Я просто оставлю это здесь для любопытных.
что подразумевает, что
еще один минимизатор MSE. Игра, в которую мы играем в математике ради уникальности, всегда имеет такой оттенок: «Предположим, есть еще один минимум».
затем покажите, что он должен быть единственным. Вот оно:
что следует, просто расширив термины. Поэтому мы имеем это, если
потом
что является противоречием, поскольку они должны быть равны. Действительно, отсюда следует, что
То есть предыдущая просто 0! Следовательно, оно ДОЛЖНО быть равным! Очевидно (потому что мы любим констатировать вещи, которые вовсе не очевидны), это распространяется и на случай, когда мы делаем прогнозы на основе набора наблюдений X_{1},…, X_{n}.
В следующий раз
Теперь мы знаем, что форма B.L.P. должен быть условным математическим ожиданием X_{n+h} при заданном X_{n}. Но как это выглядит на самом деле? В следующий раз мы найдем для него модель, снова используя вычисления и статистику, а также некоторые концепции, которые мы изучили ранее. Быть в курсе!
Предсказание 1 → Лучшие предсказатели II
Последний раз
Главная страница
Следуй за мной в
- https://blog.jairparraml.com/
- https://www.linkedin.com/in/hair-parra-526ba19b/
- https://github.com/JairParra
- https://medium.com/@hair.parra
