Обзор

Избирательная модель FiveThirtyEight отличается от других моделей, основанных на опросах, что дает Трампу 1/3 шанса на победу. Продолжая недавний спор между Нейтом Сильвером и редактором HuffPo Райаном Гримом, я перечитал предположения моделирования 538. Сегодня я провел базовый анализ данных, используя действительно простой метод агрегирования опросов (медиана всех опросов), но включив корректировку линии тренда, аналогичную той, которую использует 538. Оказывается, что в зависимости от того, как вы реализуете настройку линии тренда, вы получите очень разные результаты. Я собираюсь показать здесь чувствительность.

Сохраняя простоту модели и варьируя только способ вычисления линий тренда, мы можем смотреть на ее влияние более непосредственно. Пожалуйста, не говорите мне, что эти прогнозы были ошибочными. Код здесь.

Что такое корректировка линии тренда?

Вкратце, корректировка линии тренда работает так: допустим, мы проводим опрос в Северной Каролине в августе. Сейчас сентябрь, и мы хотим включить его в нашу модель, но общенациональные опросы изменились с тех пор, как проводился опрос NC. Мы заимствуем информацию из изменений общенационального опроса с августа по сентябрь и повторно взвешиваем (изменяем результаты) опроса штата. Чтобы быть конкретным, скажем, что опрос NC показывает Трампу +1 в августе, а мы делаем прогноз в сентябре. Предположим, что с тех пор, как был проведен опрос NC, Трамп набрал +3 в национальном масштабе. Затем мы добавляем часть этого +3 (по весу) к августовскому опросу NC. Если наш вес равен 1, мы добавим +3 к опросу и введем в нашу модель опрос +4 августа NC.

Эта методология работает, если у нас есть точная оценка веса и точная оценка линии тренда. Если наша оценка веса или линии тренда неверна, наши результаты могут быть неверными. Оценка линии тренда выполняется с помощью регрессии LOESS в модели 538, поэтому я повторю это здесь.

Данные

Я использовал API опроса Huffington Post, чтобы получить все общенациональные опросы (N = 200) с января 2016 года и опросы штатов из наиболее часто цитируемых полей сражений: VA, PA, CO, NH, FL, NV, OH, IA, NC, Аризона, Джорджия (N = 437). Скорее всего, это опросы избирателей, определенные API. Поскольку это простой анализ, я не беспокоюсь о качестве опросов, домашних эффектах и ​​т. Д., И, несомненно, можно было бы включить больше опросов (например, зарегистрированных избирателей).

Если я говорю NV +3, это означает, что Клинтон опережает на 3, тогда как NV -3 означает, что Трамп опережает на 3.

Модель

Наша модель результатов проста: возьмите медианное значение всех опросов за весь период и назовите это нашей оценкой. УИК любит медианы, так что, кажется, это нормально повторить. Я не использую время-распад, потому что мне просто нравится делать самые простые вещи, которые кажутся разумными.

На национальном уровне это дает Клинтон +4. Сравните со средним показателем RCP +2,2 по 4 параметрам и +4,9 у HuffPo.

Выполнение того же самого на государственном уровне дает: AZ -2, CO +5, FL +2,5, GA -4, IA -1, NC +1, NH +6, NV +0,5, OH +2, PA +6, Вирджиния +7,5, Висконсин +5,0. Это не страшные оценки. Худший - NH +6, когда The Upshot дает +3. По сравнению с The Upshot мы получаем правильные WI, IA, GA; ВА в пределах 0,5; AZ, CO, FL, NC, PA в пределах 1 балла; НВ в пределах 1,5; ОН в пределах 2.

# Буквально Не Ужасно

Национальный тренд

Использование регрессии LOESS требует решения, насколько большим мы должны сделать наше окно сглаживания. Подумайте об этом как о том, сколько информации мы хотим включить по обе стороны рассматриваемого нами вопроса. Более низкие значения сглаживания более локальны (более прыгающая линия), а более высокие - более глобальные (более гладкая линия). В R параметр по умолчанию - 0,75.

Вот изображение национальной линии тренда со сглаживанием 0,65 (слева) и 0,85 (справа). В день выборов результаты качественно иные. В первом случае победа Трампа находится в пределах погрешности (пунктирная линия - четная). В последнем случае зацепка Клинтона кажется вполне безопасной.

Мы установили, что этот параметр сглаживания имеет значение для линии тренда, и это модель, которую 538 использует для корректировки линии тренда. Если бы у нас было достаточно данных, мы могли бы провести перекрестную проверку, чтобы узнать этот параметр по прошлым результатам, но выборов было не так много. Я не уверен, как 538 определяет параметр сглаживания (или что это такое), но ясно, что сама линия тренда чувствительна к нему.

Итак, насколько чувствительна модель к значению сглаживания?

Я думал, ты никогда не спросишь. Вот результаты для четырех параметров сглаживания (0,7, 0,75, 0,8, 0,85) без сглаживания. Они рассчитываются путем взятия разницы в национальных линиях тренда (вывод модели LOESS) между сегодняшним днем ​​и моментом проведения опроса. Затем мы добавляем эту разницу в опрос. Затем в пределах состояния мы берем медианное значение всех опросов после корректировки.

Значения сглаживания 0,75 и ниже дают преимущество Трампу, а значения 0,8 и выше - преимуществу Клинтон. Красные точки (без сглаживания) находятся где-то между крайностями, но, как правило, в пользу Клинтона. Качественно, значение от 0,7 до 0,75 согласуется с текущими прогнозами модели 538 в таких штатах, как FL, NC, NV, OH, которые в настоящее время едва ли соответствуют Трампу. Необработанные значения значительно более про-Клинтоновские, чем значения сглаживания ниже 0,8.

Вы можете сказать «вы предполагаете, что мы просто добавляем (сглаженное) национальное изменение» без взвешивания. Вы были бы правы, но я считаю, что это разумный первый шаг. Поскольку нам неизвестна конкретная процедура взвешивания, используемая в 538, я делаю кое-что простое, из чего вы можете легко экстраполировать.

Может быть, поэтому прогноз 538 так отличается

Большинство моделей выборов (например, PEC, HuffPo) не корректируют линию тренда, как это делает 538. Используя простую медиану всех опросов, довольно легко получить цифры, которые относительно согласуются с консенсусом о том, что Клинтон имеет высокую вероятность победы. Однако, как только мы начнем корректировать линии тренда с определенными параметрами модели, мы сможем убедить себя, что на самом деле все может быть в поисках Трампа. На самом деле кажется, что есть точка перегиба в параметре сглаживания, указывающая на то, что мы должны иметь высокую уверенность в правильности нашего параметра, прежде чем делать прогнозы на его основе.

Чтобы выяснить, какие прогнозы верны, потребуется до вторника. Однако я бы сказал, что меня беспокоит кажущаяся произвольность подхода к корректировке линии тренда.