Не знаю, как это описать, но я запускаю паука Scrapy на сервере Digital Ocean (сервер за 5 долларов), проект Scrapy развернут как приложение Dokku.
Тем не менее, он работает очень медленно по сравнению со скоростью на моем локальном компьютере и на динамометрическом стенде бесплатного уровня Heroku. На Dokku он сканирует со скоростью 30 страниц в минуту, тогда как локально и на Heroku скорость составляет 200+ страниц в минуту.
Я не знаю, как отлаживать, анализировать или с чего начать, чтобы решить проблему. Любая помощь, подсказки или советы о том, как решить эту проблему?
AutoThrottle
. Ваш паук был убит из-за нехватки памяти? - person Harrison   schedule 21.06.2016