Я новичок в scrapy и python. Я написал паука, который берет start_urls из командной строки и начинает парсить. До этого все нормально.
Теперь я хочу отправить start_urls с веб-страницы (созданной с использованием Flask). После нажатия кнопки она должна вызвать оболочку scrapy и начать очистку веб-сайтов.
В этом может помочь проект scrapyd. Существует JSON API, который вы будете использовать для развертывания и запуска своих пауков. Таким образом, ваша часть веб-приложения не будет заблокирована активным процессом очистки веб-страниц:
Scrapyd — это приложение для развертывания и запуска пауков Scrapy. Это позволяет вам развертывать (загружать) свои проекты и управлять их поисковыми роботами с помощью JSON API.
