Когда я выполняю один и тот же запрос xpath в бот-боте и в оболочке scrapy, я получаю разные результаты. Примечание. Я просто пытаюсь изучить scrapy и поэтому модифицирую часть кода учебника. Пожалуйста, иди со мной медленно. Запрос:...

Пожалуйста, помогите мне очистить названия продуктов по этой ссылке: http://www.gap.com/browse/category.do?cid=5168&scrollTo=product353401012&scrollTo=product353401012#pageId=0&department=75 Названия продуктов содержатся в...

Итак, я новичок в веб-сканировании, и у меня возникли проблемы с пониманием конкретного файла robots.txt. В данном случае это то, что есть на сайте: User-agent: * Allow: / Sitemap: sitemapURLHere Поэтому я искал / здесь и нашел его....

При попытке решить мою проблему (вывести упорядоченный Json по полю определенного элемента), я получил ответ , который предлагает мне создать собственный экспортер для задания . Я создаю его, но... все примеры, которые я нашел, предлагают...

Я пытаюсь распечатать все названия продуктов этого сайта с помощью оболочки scrapy: ' https://www.woolworths.com.au/shop/browse/drinks/cordials-juices-iced-teas/iced-teas ' Как только он открыт, я начинаю получать:...

Я пытаюсь очистить все данные об обуви с этого https://www.matchesfashion.com/intl/mens/shop/shoes?page=1 URL для перехода к следующим кнопкам до страницы 7. Но когда я пытаюсь это сделать, я получаю, что код состояния HTTP не обрабатывается или не...

У меня есть паук, который получает файлы cookie с сайта на первых нескольких шагах. Я хотел бы получить файлы cookie, начать очистку, и если статус HTTP текущего запроса == 302, я хочу вернуться к части файлов cookie, чтобы обновить их. Как я могу...