Разница в различиях в Python + Pandas

Кажется, что вам нужна не разница в различиях (DD) регрессии. Регрессии DD уместны, когда вы можете различить контрольную группу и группу лечения. Стандартным упрощенным примером может быть оценка лекарства. Вы делите группу больных людей на две группы. Половине ничего не дают: это контрольная группа. Другой половине дают лекарство: это лечебная группа. По сути, регрессия DD будет отражать тот факт, что реальный эффект лекарства нельзя измерить напрямую с точки зрения того, сколько людей, которым давали лекарство, стали здоровыми. Интуитивно вы хотите знать, были ли эти люди лучше, чем те, которым не давали никаких лекарств. Этот результат можно уточнить, добавив еще одну категорию: плацебо, то есть людей, которым дают что-то похожее на лекарство, но на самом деле им не являющееся... но опять же, это будет четко определенная группа. И последнее, но не менее важное: для того, чтобы регрессия DD была действительно подходящей, вы должны убедиться, что группы не являются гетерогенными таким образом, что это может привести к искажению результатов. Плохая ситуация для вашего медицинского теста будет, если в группу лечения входят только люди, которые молоды и в отличной форме (следовательно, в целом больше шансов на выздоровление), в то время как контрольная группа состоит из старых алкоголиков...

В вашем случае, если я не ошибаюсь, в той или иной степени лечат всех... так что вы ближе к стандартной схеме регрессии, в которой должно быть измерено влияние X на Y (например, IQ на заработную плату). Я понимаю, что вы хотите измерить влияние количества разрешений на счет (или наоборот? -_-), и вам нужно иметь дело с классической эндогенностью, т.е. если Петр более квалифицирован, чем Пол, он обычно получают больше разрешений И более высокий балл. Итак, что вы на самом деле хотите использовать, так это тот факт, что с одним и тем же уровнем навыков с течением времени Петру (соответственно Павлу) будут даваться разные уровни разрешений на протяжении многих лет... и там вы действительно измерите влияние разрешений на счет. ...

Возможно, я плохо угадываю, но я хочу настоять на том факте, что есть много способов получить предвзятые и, следовательно, бессмысленные результаты, если вы не приложите достаточно усилий, чтобы понять/объяснить, что происходит в данных. Что касается технических деталей, ваша оценка имеет только фиксированные годовые эффекты (вероятно, не оцененные, но принятые во внимание путем унижения, поэтому не возвращаются в выходных данных), поэтому вам нужно добавить entity_effects = True. Если вы хотите пойти дальше... Я боюсь, что регрессии панельных данных до сих пор недостаточно хорошо описаны ни в одном пакете Python (включая статистические модели, которые являются справочником по эконометрике), поэтому, если вы не хотите инвестировать... скорее предложил бы использовать R или Stata. Между тем, если регрессия с фиксированным эффектом - это все, что вам нужно, вы также можете получить ее с помощью статистических моделей (которые также позволяют кластеризовать стандартные ошибки, если это необходимо...):

import statsmodels.formula.api as smf
df = s.reset_index(drop = False)
reg = smf.ols('y ~ x + C(date) + C(id)',
              data = df).fit()
print(reg.summary())
# clustering standard errors at individual level
reg_cl = smf.ols(formula='y ~ x + C(date) + C(id)',
                 data=df).fit(cov_type='cluster',
                              cov_kwds={'groups': df['id']})
print(reg_cl.summary())
# output only coeff and standard error of x
print(u'{:.3f} ({:.3f})'.format(reg.params.ix['x'], reg.bse.ix['x']))
print(u'{:.3f} ({:.3f})'.format(reg_cl.params.ix['x'], reg_cl.bse.ix['x']))

Что касается эконометрики, вы, вероятно, получите больше/лучших ответов на Cross Validated, чем здесь.