Как применить OLS от statsmodels к groupby

Я использую OLS для продуктов по месяцам. Хотя это отлично работает для одного продукта, мой фрейм данных содержит много продуктов. Если я создаю групповой объект, OLS выдает ошибку.

linear_regression_df:
  product_desc  period_num    TOTALS  
0    product_a     1          53  
3    product_a     2          52 
6    product_a     3          50 
1    product_b     1          44 
4    product_b     2          43 
7    product_b     3          41 
2    product_c     1          36   
5    product_c     2          35 
8    product_c     3          34 


from pandas import DataFrame, Series
import statsmodels.api as sm    

linear_regression_grouped = linear_regression_df.groupby(['product_desc'])
X = linear_regression_grouped['period_num'] 
y = linear_regression_grouped['TOTALS']

model = sm.OLS(y, X)
results = model.fit()

И я получаю эту ошибку в строке sm.OLS():

ValueError: unrecognized data structures: <class 'pandas.core.groupby.SeriesGroupBy'>

Итак, как я могу просмотреть свой фрейм данных и применить sm.OLS() для каждого product_desc?


python pandas statsmodels
person analyticsPierce    schedule 06.06.2014    source источник

Ответы (2)


arrow_upward
2
arrow_downward

Вы могли бы сделать что-то вроде этого...

import pandas as pd
import statsmodels.api as sm

for products in linear_regression_df.product_desc.unique():
    tempdf = linear_regression_df[linear_regression_df.product_desc == products]
    X = tempdf['period_num']
    y = tempdf['TOTALS']

    model = sm.OLS(y, X)
    results = model.fit()

    print results.params #  Or whatever summary info you want
person gobrewers14    schedule 06.06.2014

arrow_upward
2
arrow_downward

Используйте get_group, чтобы получить каждую отдельную группу и выполнить модель OLS для каждой из них:

for group in linear_regression_grouped.groups.keys():
    df= linear_regression_grouped.get_group(group)
    X = df['period_num'] 
    y = df['TOTALS']
    model = sm.OLS(y, X)
    results = model.fit()
    print results.summary()

Но в реальном случае вы также хотите иметь термин перехвата, поэтому модель должна быть определена немного по-другому:

for group in linear_regression_grouped.groups.keys():
    df= linear_regression_grouped.get_group(group)
    df['constant']=1
    X = df[['period_num','constant']]
    y = df['TOTALS']
    model = sm.OLS(y,X)
    results = model.fit()
    print results.summary()

Результаты (с перехватом и без), конечно, сильно отличаются.

person CT Zhu    schedule 06.06.2014
comment
Я нашел этот ответ очень полезным. Я попытался реализовать это и получил ошибку AttributeError: 'DataFrame' object has no attribute 'get_group'. - person StatsScared; 10.12.2020