Количество слов и совокупная сумма
У меня набор данных до 1,5 миллионов строк. Этот набор данных представляет собой временной ряд в формате года, как показано ниже. Я пытаюсь подсчитать количество строк за год в кумулятивном формате. Пример ниже:
lodgement_year trademark_text
1906 PEPS
1906 BILE BEANS FOR BILIOUSNESS B
1906 ZAM-BUK Z
lodgement_year
1906 {PEPS BILE BEANS FOR BILIOUSNESS B ZAM-BUK Z Z...
1907 {WHS CHERUB BLACK & WHITE SOUTHERN CROSS HISTO...
В качестве первоначальной задачи я сгруппировал строки, а затем применил цикл в течение всего года, используя код, который был опубликован на этом форуме пользователем xxx. Пока цикл работает, сразу после него появляется следующее сообщение:
The code :
d = df_merge.groupby('lodgement_year')['trademark_text'].apply(lambda x: "{%s}" % ' '.join(x))
for name in d.index:
data = d.loc[name]
ngram_vectorizer = CountVectorizer(analyzer='word',tokenizer=word_tokenize, ngram_range=(1, 1), min_df=1)
X = ngram_vectorizer.fit_transform(data.split('\n'))
vocab = list(ngram_vectorizer.get_feature_names())
counts = X.sum(axis=0).A1
freq_distribution = Counter(dict(zip(vocab, counts)))
print (name, freq_distribution.most_common(10))
Сообщение об ошибке:
Отслеживание (последний вызов последний):
Файл "/ Users / PycharmProjects / Slice_Time_Series", строка 65, в X = ngram_vectorizer.fit_transform (data.split ('\ n'))
Файл "/Users/anaconda3/lib/python3.6/site-packages/pandas/core/generic.py", строка 3081, в объекте возврата getattr. getattribute ( self, name) AttributeError: объект 'Series' не имеет атрибута 'split'
Результат, который работает до ошибки:
1906 [('.', 24), ("'s", 22), ('star', 18), ('&', 15), ('kodak', 12), ('co', 9), ('the', 9), ('brand', 8), ('express', 8), ('anchor', 6)]
1907 [('&', 11), ("'s", 11), ('brand', 11), ('pinnacle', 7), ('vaseline', 7), ('the', 6), ('.', 5), ('co.', 5), ('kepler', 5), ('lucas', 5)]
Любая помощь будет оценена. В качестве следующей задачи я пытаюсь создать серию, которая представляет собой сумму из 1906, затем 1906 плюс 1907, затем 1906 + 1907 + 1908. Я пока не знаю, что делать, любое руководство было бы также отличным.
Ян