NameError: имя tokenize не определено

Классификация анализа настроений: мы обучили различные модели машинного обучения и глубокие нейронные сети классифицировать тональность текста отзыва на 3 основные категории (положительное, нейтральное, отрицательное).

# TfidfVectorizer transform train and test
    con_vec = TfidfVectorizer(stop_words='english',tokenizer=tokenize,max_features=20000,ngram_range=(1,2))
    X_train_tfidf = con_vec.fit_transform(X_train)
    # with open("tfidf_vectorizer.pkl", 'wb') as handle:
    #                     pickle.dump(con_vec, handle)
    y_train_tfidf = y_train
    X_test_tfidf = con_vec.transform(X_test)
    y_test_tfidf = y_test

**ERROR CODE :** 
    **Pandas Version is pandas 1.1.4**
   ---------------------------------------------------------------------------

      1 from nltk import word_tokenize # Generate table of words with their counts
      2 from nltk.tokenize import word_tokenize # TfidfVectorizer transform train and test
----> 3 con_vec = TfidfVectorizer(stop_words='english',tokenizer=tokenize,max_features=20000,ngram_range=(1,2))
      4 X_train_tfidf = con_vec.fit_transform(X_train)
    
  
    **NameError: name 'tokenize' is not defined**

Any solution how to remove this error?
Also tried from **nltk import word_tokenize** but still same error 
    
      [1]: https://i.stack.imgur.com/lmoSp.png

person Rohit Sharma    schedule 30.11.2020    source источник
comment
В вашем коде нет определения tokenize, которое вы использовали в TfidfVectorizer.   -  person Quang Hoang    schedule 30.11.2020
comment
Добавьте свой импорт в фрагмент кода   -  person Barmar    schedule 30.11.2020
comment
Это означает именно то, на что это похоже. У вас есть вопрос?   -  person Karl Knechtel    schedule 30.11.2020


Ответы (1)


Попробуйте импортировать его:

from nltk.tokenize import tokenize
person Ann Zen    schedule 30.11.2020