Ресурс corpora/wordnet не найден на Heroku

У меня была такая же проблема. В итоге у меня сработало создание каталога «nltk_data» в самой папке приложения, загрузка корпуса в этот каталог и добавление строки в мой код, которая позволяет nltk искать в этом каталоге. Вы можете сделать все это локально, а затем отправить изменения в Heroku.

Итак, предположим, что мое приложение Python находится в каталоге с именем «myapp/»

Шаг 1. Создайте каталог

cd myapp/
mkdir nltk_data

Шаг 2. Загрузите корпус в новый каталог

python -m nltk.downloader

Откроется загрузчик nltk. Установите для Каталог загрузки значение whatever_the_absolute_path_to_myapp_is/nltk_data/. Если вы используете загрузчик с графическим интерфейсом, каталог загрузки задается в текстовом поле в нижней части пользовательского интерфейса. Если вы используете командную строку, вы устанавливаете ее в меню конфигурации.

Как только загрузчик узнает, что он указывает на ваш только что созданный каталог nltk_data, загрузите свой корпус.

Или за один шаг из кода Python:

nltk.download("wordnet", "whatever_the_absolute_path_to_myapp_is/nltk_data/")

Шаг 3. Сообщите nltk, где искать

ntlk ищет данные, ресурсы и т. д. в местах, указанных в переменной nltk.data.path. Все, что вам нужно сделать, это добавить nltk.data.path.append('./nltk_data/') в файл python, используя nltk, и он будет искать корпуса, токенизаторы и тому подобное в дополнение к путям по умолчанию.

Шаг 4. Отправьте его в Heroku

git add nltk_data/
git commit -m 'super useful commit message'
git push heroku master

Это должно сработать! Во всяком случае, это помогло мне. Стоит отметить, что путь от файла python, выполняющего nltk, до каталога nltk_data может отличаться в зависимости от того, как вы структурировали свое приложение, поэтому просто учитывайте это, когда делаете nltk.data.path.append('path_to_nltk_data')

Обновлять

Как указал Кеннет Рейц, в пакет сборки heroku-python-buildpack добавлено гораздо более простое решение. Добавьте файл nltk.txt в свой корневой каталог и перечислите внутри свои корпуса. См. http://textblob.readthedocs.io/en/dev/install.html. для деталей.

Оригинальный ответ

Вот более чистое решение, которое позволяет вам устанавливать данные NLTK непосредственно на Heroku, не добавляя их в репозиторий git.

Я использовал аналогичные шаги для установки Textblob на Heroku, который использует NLTK в качестве зависимости. . Я внес небольшие изменения в свой исходный код на шагах 3 и 4, которые должны работать только для установки NLTK.

Пакет сборки heroku по умолчанию включает post_compile шаг, который запускается после завершения всех шагов сборки по умолчанию:

# post_compile
#!/usr/bin/env bash

if [ -f bin/post_compile ]; then
    echo "-----> Running post-compile hook"
    chmod +x bin/post_compile
    sub-env bin/post_compile
fi

Только для пользователей Mac OS.

python -m nltk.downloader -d /usr/share/nltk_data wordnet

данные корпуса не могут быть загружены непосредственно в папку /usr/share/nltk_data. сообщает об ошибке «нет разрешения», два решения:

1. Добавьте дополнительные изменения разрешений в систему Mac, подробности см. в Операция не разрешена при использовании root El capitan (без root отключен) . Однако я не хочу менять настройки по умолчанию для Mac только для этого корпуса. и я выбираю второе решение.

2. • Download the corpora to any directory you have the access to. `python -m nltk.downloader -d some_user_accessable_directory wordnet'. Noted, there you only download the required corpora, e.g., wordnet, reuters instead of the whole corpora from nltk.

   • Добавьте путь к пути nltk. В файле py добавьте следующие строки:

     import nltk nltk.data.path.append('nltk_data')

Я получал эту проблему. Для тех, кто не работает в виртуальной среде, необходимо загрузить в следующий каталог в Ubuntu:

/usr/share/nltk_data/corpora/wordnet

Вместо wordnet это может быть коричневый цвет или что-то в этом роде. Вы можете напрямую запустить эту команду в своем терминале, если хотите загрузить корпус.

$ sudo python -m nltk.downloader -d /usr/share/nltk_data wordnet

Опять же, вместо wordnet он может быть коричневым.

Этот работает:

Для пользователей Mac OS.

python -m nltk.downloader -d /usr/local/share/nltk_data wordnet

Теперь Heroku официально поддерживает встроенные данные NLTK!

https://devcenter.heroku.com/articles/python-nltk

Я мог решить свою проблему только с помощью этого решения:

https://github.com/gunthercox/ChatterBot/issues/930#issuecomment-322111087

Это обходной путь, связанный с SSL.

Я знаю, что это старый вопрос, но поскольку «правильный» ответ изменился благодаря тому, что Heroku предлагает поддержку nltk, я подумал, что, возможно, стоит ответить.

Heroku теперь поддерживает nltk. Если вам нужно загрузить что-то для nltk (в этом примере wordnet или, возможно, стоп-слова или корпус), вы можете сделать это, просто включив файл nltk.txt в тот же корневой каталог, где у вас есть ваши Procfile и requirements.txt. В вашем файле nltk.txt вы перечисляете каждый элемент, который хотите загрузить. Для проекта, который я только что развернул, мне понадобились стоп-слова и wordnet, поэтому мой nltk.txt выглядит так:

stopwords

wordnet

Довольно просто. И, конечно же, убедитесь, что у вас есть соответствующая версия nltk, указанная в вашем Pipfile или requirements.txt. Чтобы узнать правду, посетите https://devcenter.heroku.com/articles/python-nltk< /а>.

Я столкнулся с точно такой же проблемой при развертывании чат-бота на платформе Heroku. Хотя ответ от follyroof является надежным решением, но во многих случаях размер репозитория будет резко увеличен.

Итак, я использовал nltk.download('PACKAGE') в своем файле app.py. Таким образом, всякий раз, когда запускается app.py, зависимости загружаются автоматически.

Я столкнулся с той же ошибкой. Этот обходной путь, предложенный Fred Foo, помог мне решить проблему. В моем случае работает следующее:

# 1) execute the below written code 
# 2) a NLTK Download window will open
# 3) select "Corpora" tab and scroll down until "wordnet"
# 4) doubleclick to install

nltk.download()
from nltk.corpus import wordnet

Импорт WordNet в NLTK