pandas dataframe concat дает нежелательные столбцы NA/NaN

Вместо этого примера, где он горизонтальный После Pandas Dataframe pd.concat я получаю NaNs, я пробую вертикально:

import pandas
a=[['Date', 'letters', 'numbers', 'mixed'], ['1/2/2014', 'a', '6', 'z1'], ['1/2/2014', 'a', '3', 'z1'], ['1/3/2014', 'c', '1', 'x3']]
df = pandas.DataFrame.from_records(a[1:],columns=a[0])

f=[]
for i in range(0,len(df)):
    f.append(df['Date'][i] + ' ' + df['letters'][i])

df['new']=f

c=[x for x in range(0,5)]
b=[]
b += [['NA'] * (5 - len(b))]
df_a = pandas.DataFrame.from_records(b,columns=c)

df_b=pandas.concat([df,df_a], ignore_index=True)

df_b выводит так же, как df_b=pandas.concat([df,df_a], axis=0)

результат:

     0    1    2    3    4      Date letters mixed         new numbers
0  NaN  NaN  NaN  NaN  NaN  1/2/2014       a    z1  1/2/2014 a       6
1  NaN  NaN  NaN  NaN  NaN  1/2/2014       a    z1  1/2/2014 a       3
2  NaN  NaN  NaN  NaN  NaN  1/3/2014       c    x3  1/3/2014 c       1
0   NA   NA   NA   NA   NA       NaN     NaN   NaN         NaN     NaN

желанный:

       Date letters numbers mixed         new
0  1/2/2014       a       6    z1  1/2/2014 a
1  1/2/2014       a       3    z1  1/2/2014 a
2  1/3/2014       c       1    x3  1/3/2014 c
0  NA             NA      NA   NA  NA

python pandas dataframe na concat
person jason    schedule 25.05.2014    source источник

Ответы (2)


arrow_upward
2
arrow_downward

Я бы создал фрейм данных df_a с правильными столбцами напрямую.

С небольшим рефакторингом вашего кода это дает

import pandas
a=[['Date', 'letters', 'numbers', 'mixed'], \
   ['1/2/2014', 'a', '6', 'z1'],\
   ['1/2/2014', 'a', '3', 'z1'],\
   ['1/3/2014', 'c', '1', 'x3']]
df = pandas.DataFrame.from_records(a[1:],columns=a[0])
df['new'] = df['Date'] + ' ' + df['letters']

n = len(df.columns)
b = [['NA'] * n]
df_a = pandas.DataFrame.from_records(b,columns=df.columns)
df_b = pandas.concat([df,df_a])

Это дает

       Date letters numbers mixed         new
0  1/2/2014       a       6    z1  1/2/2014 a
1  1/2/2014       a       3    z1  1/2/2014 a
2  1/3/2014       c       1    x3  1/3/2014 c
0        NA      NA      NA    NA          NA

В конце концов:

df_b = pandas.concat([df,df_a]).reset_index(drop=True)

Это дает

       Date letters numbers mixed         new
0  1/2/2014       a       6    z1  1/2/2014 a
1  1/2/2014       a       3    z1  1/2/2014 a
2  1/3/2014       c       1    x3  1/3/2014 c
3        NA      NA      NA    NA          NA
person Guillaume Jacquenot    schedule 25.05.2014

arrow_upward
1
arrow_downward

Если вы используете последние версии, это дает вам то, что вы хотите

df.ix[len(df), :]='NA'

РЕДАКТИРОВАТЬ: ИЛИ, если вы хотите concat, когда вы определяете df_a, используйте столбцы df в качестве столбцов

df_a = pandas.DataFrame.from_records(b,columns=df.columns)
person Happy001    schedule 25.05.2014
comment
Кроме того, когда вы получаете df['new'], есть более простой способ: df['new']= df['Date']+' '+df['letters'] - person Happy001; 25.05.2014