Классификация анализа настроений: мы обучили различные модели машинного обучения и глубокие нейронные сети классифицировать тональность текста отзыва на 3 основные категории (положительное, нейтральное, отрицательное).
# TfidfVectorizer transform train and test
con_vec = TfidfVectorizer(stop_words='english',tokenizer=tokenize,max_features=20000,ngram_range=(1,2))
X_train_tfidf = con_vec.fit_transform(X_train)
# with open("tfidf_vectorizer.pkl", 'wb') as handle:
# pickle.dump(con_vec, handle)
y_train_tfidf = y_train
X_test_tfidf = con_vec.transform(X_test)
y_test_tfidf = y_test
**ERROR CODE :**
**Pandas Version is pandas 1.1.4**
---------------------------------------------------------------------------
1 from nltk import word_tokenize # Generate table of words with their counts
2 from nltk.tokenize import word_tokenize # TfidfVectorizer transform train and test
----> 3 con_vec = TfidfVectorizer(stop_words='english',tokenizer=tokenize,max_features=20000,ngram_range=(1,2))
4 X_train_tfidf = con_vec.fit_transform(X_train)
**NameError: name 'tokenize' is not defined**
Any solution how to remove this error?
Also tried from **nltk import word_tokenize** but still same error
[1]: https://i.stack.imgur.com/lmoSp.png
tokenize
, которое вы использовали вTfidfVectorizer
. - person Quang Hoang   schedule 30.11.2020