Изучение одной из новейших квазиэкспериментальных техник

Широко признано, что A/B-тестирование является золотым стандартом для причинно-следственных связей. Эти тесты, также известные как рандомизированные контролируемые тесты (РКИ), включают в себя случайное разделение субъектов на лечебные и контрольные единицы. Это гарантирует, что любое различие между единицами связано с применяемой обработкой. A/B-тестирование широко используется предприятиями для тестирования новых продуктов, функций и маркетинговых стратегий. Это помогает им фиксировать реакции клиентов, проблемы с продуктом и т. д. на ранних этапах цикла продукта или стратегии. Однако существует множество ситуаций, когда случайное разделение субъектов на экспериментальную и контрольную группы может быть не лучшим решением. Примером может служить тестирование в социальных сетях, где сетевые эффекты могут привести к загрязнению между тестом и контролем. Точно так же в некоторых случаях это может вызвать этические проблемы (например, в медицинских испытаниях), может быть слишком дорогим или даже неосуществимым из-за технических ограничений. Именно в этих ситуациях мы используем квазиэкспериментальные методы, такие как Анализ различий в различиях (DID), тестирование совпадающих пар, регрессия и т. д. Метод синтетического контроля, которому посвящена данная статья, является одним из таких методов. . В этой статье исследуются:

1) детали метода синтетического контроля,

2) его преимущества и недостатки, и

3) требования к данным для методики

Синтетический метод контроля (SCM):

Что такое синтетический метод контроля?

Синтетические методы контроля были первоначально предложены в работе Abadie and Gardeazabal (2003) с целью оценки влияния совокупных вмешательств на некоторый интересующий совокупный результат [1]. Здесь агрегированные вмешательства — это вмешательства, которые осуществляются на агрегированном уровне и затрагивают небольшое количество крупных единиц (таких как города, регионы или страны). Он основан на идее, что, когда наблюдение производится на уровне агрегированного объекта, комбинация незатронутых единиц может обеспечить более подходящее сравнение, чем любая отдельная незатронутая единица. Проще говоря, он сравнивает экспериментальную группу с взвешенной комбинацией контрольных групп. SCM имеет два основных преимущества перед традиционными квазиэкспериментальными методами:

1) Это может объяснить влияние вмешивающихся факторов, меняющихся с течением времени, в то время как предположение DID о параллельном тренде подразумевает, что без вмешательства результаты для леченных и контрольных групп следовали бы параллельным траекториям во времени [1].

2) Эта методология формализует выбор единиц сравнения с использованием процедуры, управляемой данными [2].

Сведения о модели:

Предположим, что имеется J единиц, где j=1 — обработка, а j=2, …, j=J — блоки управления. Пусть Y будет переменной результата, Y_(1t)^N будет значением переменной результата, которое наблюдалось бы для лечебной единицы при отсутствии вмешательства в момент времени t. Пусть T_0 будет временем вмешательства, Y_(1t) будет значением переменной результата после вмешательства, а Y_(jt) будет значением переменной результата для блока управления j в момент времени t. Используя w_j в качестве веса, связанного с блоками управления, значение Y_(1t)^N можно представить следующим образом:

Если влияние вмешательства на лечение, то

Здесь Y_(1t) можно получить, наблюдая Y после вмешательства, тогда как Y_(1t)^N получается из уравнения. (1). Остается вопрос: как нам получить веса для приведенного выше уравнения? Абади, Даймонд и Хайнмюллер (2010) предлагают рассчитывать веса аналогично

Здесь W — (J-1)x1 матрица весов w_j, X_(t, pre) — вектор характеристик до вмешательства для облученного региона, а X_(c, pre) — вектор того же до вмешательства характеристики для элементов управления.

Характеристики до вмешательства, также известные как ковариаты, могут быть любыми переменными, которые должным образом представляют лечение. Например, в работе Абади, Даймонда и Хайнмюллера (2010 г.) при оценке воздействия Предложения 99 на Калифорнию в качестве ковариат использовались средняя розничная цена сигарет в период до вмешательства, среднее доход (зарегистрированный) в период до вмешательства, процент населения в возрасте 15–24 лет в период до вмешательства и среднее потребление пива на душу населения в период до вмешательства. Эти переменные были дополнены трехлетним лаговым потреблением курения (что также является переменной результата). Для моделирования лечебной установки можно использовать данные запаздывания за любое количество лет. [4]

Формула для расчета весов для модели, хотя и очень похожа на линейную регрессию, имеет небольшие отличия. Модель использует следующие ограничения, которые отличают ее от классической модели линейной регрессии:

Последние два ограничения защищают метод от экстраполяции. Поскольку синтетический контроль представляет собой средневзвешенное значение доступных контрольных единиц, этот метод делает явными: (1) относительный вклад каждой контрольной единицы в интересующий контрфакт; и (2) сходство (или его отсутствие) между единицей, затронутой интересующим событием или вмешательством, и синтетическим контролем с точки зрения результатов до вмешательства и других предикторов результатов после вмешательства. По сравнению с традиционными методами регрессии прозрачность и защита от экстраполяции являются двумя привлекательными чертами метода [4].

Пример реализации:

Для этого упражнения я использовал общедоступные данные, подробности которых описаны в [6]. Для этого примера был использован код из статьи Understanding Synthetic Control Methods.

В этом примере мы попытаемся оценить влияние Предложения 99 на годовое потребление сигарет на душу населения на уровне штата, которое измеряется как продажа сигарет на душу населения в нашем наборе данных. Таким образом, для этого примера интересующей нас конечной переменной является годовая продажа сигарет на душу населения. Период выборки для нашего примера начинается в 1970 г. и заканчивается в 2000 г. Калифорния ввела Предложение 99 в 1989 г. Давайте начнем с рассмотрения контекстуальных требований этого метода [1]:

  1. Небольшие эффекты с высокой волатильностью будет трудно измерить с помощью этого метода.
  2. Наличие группы сравнения, т. е. не во всех отделениях применяются вмешательства, аналогичные лечебной группе. Для этого примера были исключены штаты, которые внедрили официальные общегосударственные программы борьбы против табака или повысили налог на сигареты более чем на 50 центов в течение периода нашего исследования.
  3. Отсутствие побочного эффекта в контрольных единицах, т. е. осуществление вмешательства по лечению не влияет на интересующую переменную исхода в контрольных единицах. В этом примере предполагается, что между блоками очистки и контроля нет эффекта перелива.
  4. До вмешательства различия в характеристиках синтетического контроля и затронутой единицы невелики, т.е.

Учитывая, что мы позаботились о контекстных требованиях, давайте посмотрим на данные:

Как мы видим на изображении выше, наши данные состоят из трех столбцов: штат, год и продажа сигарет, которая представляет собой интересующую нас результирующую переменную, также известную как «годовая продажа сигарет на душу населения». Поскольку мы будем использовать запаздывающие данные в качестве ковариат для нашего упражнения; нам нужно преобразовать его в данные панели, т.е. каждая строка будет представлять год, а каждый столбец будет представлять штат.

Затем следует выбрать штат лечения, в нашем случае это Калифорния, а годом лечения является 1989 год, первый год, когда Предложение 99 было введено в Калифорнии. Прежде чем перейти к построению искусственной Калифорнии для нашего исследования, давайте сравним продажи сигарет в Калифорнии со средним значением продаж сигарет в остальных контрольных штатах в этом исследовании.

Глядя на приведенный выше рисунок, кажется, что продажи сигарет в Калифорнии после 1989 года снижались быстрее, чем в остальных контрольных штатах. Следующий шаг — создание синтетической Калифорнии. Сначала мы определим нашу функцию регрессии со следующими ограничениями:

Функция прогнозирования синтетической Калифорнии:

Давайте теперь построим нашу синтетическую Калифорнию и посмотрим на веса контрольных состояний:

Коэффициенты/веса, полученные в результате этого упражнения, почти аналогичны упомянутым в [4]. Небольшие отклонения связаны с различием в ковариатах, которые использовались в [4] и в этом примере. Пришло время сравнить синтетическую Калифорнию с наблюдаемой Калифорнией.

Глядя на приведенный выше график, он выглядит как действие Предложения 99 на сигареты. продажа отрицательная, однако давайте визуализируем разницу между наблюдаемой и синтетической Калифорнией:

График различий может выявить отрицательную разницу между синтетической и наблюдаемой Калифорнией, особенно после 1988 года, который является годом нашего исследования. Хотя сейчас мы можем наблюдать негативное влияние Предложения 99 на продажи сигарет в Калифорнии, остается важный вопрос, как мы определяем, что это влияние является статистически значимым. Это подводит нас к последнему разделу статьи, который называется «Вывод».

Вывод:

Теперь, когда мы построили нашу синтетическую Калифорнию и определили разницу между синтетической и наблюдаемой Калифорнией, как нам оценить статистическую значимость нашего исследования? Проще говоря, как мы определяем, что наблюдаемое для Калифорнии воздействие не является случайным явлением. Мы будем использовать Тест перестановки, также описанный как исследование плацебо в [4]. Мы будем применять синтетические методы управления к государствам, которые не реализовали Предложение 99 в течение периода нашего исследования. Идея состоит в том, что при применении синтетического контроля к другим штатам, если мы не наблюдаем такого большого воздействия, как Калифорния, влияние Предложения 99 на Калифорнию будет значительным.

  1. Создание синтетического контроля для всех состояний и построение графика разницы между синтетическим и наблюдаемым состояниями:

На приведенном выше графике мы могли заметить, что для некоторых состояний мы не получили очень хорошего соответствия. В [4] предлагается удалять состояния с MSE › 2*MSE лечебного состояния.

2. Удалим состояния со СКО > 2*СКО лечебного состояния и посмотрим на оценочную разницу между синтетическим контролем и состояниями.

После исключения экстремальных состояний кажется, что влияние Предложения 99 на Калифорнию проявляется редко. В [4] соотношение между MSE Pre и MSE Post использовалось для теста перестановки.

3. Рассчитаем это отношение и оценим p-значение для теста:

Значение p для нашего теста составляет 0,0256, т. е. если бы в этих данных было назначено вмешательство случайным образом, вероятность получения MSE post / MSE pre такого размера, как Калифорния, составляет ~ 0,026.

Ссылки:

[1] Абади, А. (2021). Использование синтетических средств контроля: осуществимость, требования к данным и методологические аспекты. Журнал экономической литературы, 59(2), 391–425.

[2] Абади, А., Даймонд, А., и Хайнмюллер, Дж. (2015). Сравнительная политика и метод синтетического контроля. Американский журнал политических наук, 59(2), 495–510.

[3] Абади, А., и Гардеазабал, Дж. (2003). Экономические издержки конфликта: пример Страны Басков. American Economic Review, 93(1), 113–132.

[4] Абади, А., Даймонд, А., и Хайнмюллер, Дж. (2010). Синтетические методы контроля для сравнительных тематических исследований: оценка эффекта программы борьбы против табака в Калифорнии. Журнал Американской статистической ассоциации, 105(490), 493–505.

[5] Дудченко, Н., и Имбенс, Г.В. (2016). Балансировка, регрессия, разность в разности и синтетические методы контроля: синтез (№ w22791). Национальное бюро экономических исследований.

[6] Источник данных — Потребление сигарет на душу населения (в пачках). Источник: Orzechowski and Walker (2005), Доступ и использование информации — общедоступно.