Я не очень хорошо знаком с python, поэтому, пожалуйста, наберитесь терпения. У меня есть сканер scrapy, который работает так, как должен, но теперь мне нужно сделать новый, но на этот раз он должен сканировать сеанс, вошедший в систему. Итак, мой scrapy использует в качестве start_urls список URL-адресов, полученных из карты сайта, он должен сделать запрос к форме входа, затем, если он войдет в систему, он должен начать анализировать мой список...
Это мой код до сих пор:
class StockPricesSpider(Spider):
name = "logged-in"
allowed_domains = ["example.com"]
d = strftime("%Y-%m-%d", gmtime())
start_urls = ['https://www.example.com/customer/account/login/']
def parse(self, response):
return [FormRequest.from_response(response,
formdata={'username': 'myuser', 'password': 'mypass'},
callback=self.after_login)]
def after_login(self, response):
# check login succeed before going on
if "Invalid login or password." in response.body:
self.log("Login failed", level=log.ERROR)
return
else:
logging.log(logging.INFO,'Logged in and start parsing')
return Request("http://www.example.com/", callback=self.parse_products)
def parse_products(self, response):
f = open("data/sitemaps/urls04102015.txt")
start_urls = [url.strip() for url in f.readlines()]
f.close()
d = strftime("%Y-%m-%d", gmtime())
if os.path.exists("data/results/stock_"+d+".csv"):
os.remove("data/results/stock_"+d+".csv")
sel = Selector(response)
separator = ";"
items = []
item = MyPrices()
sku = sel.xpath('.//strong[@itemprop="productID"]/text()').extract()
logging.log(logging.INFO, sku)
if len(sku) > 0:
item['sku'] = "med_" + sel.xpath('.//strong[@itemprop="productID"]/text()').extract()[0].strip()
...
items.append(item)
return items
Так что это не работает, потому что я неправильно вызываю парсер. Так что в основном я не получаю ошибок, но и URL-адреса не анализируются. Итак, вход в систему работает, мне удается войти в систему, но после этого (после входа в систему) как мне сделать то, что делает scrapy (анализ списка URL-адресов)?
EDIT Я нашел новый подход к своей проблеме, но он тоже не работает должным образом. Пожалуйста, помогите мне отладить это (или первый подход)
class StockPricesSpiderX(InitSpider):
name = "logged-in"
allowed_domains = ["example.com"]
login_page = 'https://www.example.com/ro/customer/account/login/'
d = strftime("%Y-%m-%d", gmtime())
f = open("data/sitemaps/urls04102015.txt")
start_urls = [url.strip() for url in f.readlines()]
f.close()
if os.path.exists("data/results/stock_"+d+".csv"):
os.remove("data/results/stock_"+d+".csv")
def init_request(self):
""" Called before crawler starts """
logging.log(logging.INFO, 'before crawler starts...')
return Request(url=self.login_page, callback=self.login)
def login(self, response):
""" Generate login request """
logging.log(logging.INFO, 'do login...')
return FormRequest.from_response(response,
formdata={'name':'myuser','password':'mypass'},
callback=self.check_login_response)
def check_login_response(self,response):
""" Check the response returned by login request to see if we are logged in """
if "Invalid login or password." in response.body:
logging.log(logging.INFO,'... BAD LOGIN ...')
else:
logging.log(logging.INFO, 'GOOD LOGIN... initialize')
self.initialized()
def parse_item(self, response):
sel = Selector(response)
separator = ";"
items = []
item = StockPrices()
sku = sel.xpath('.//strong[@itemprop="productID"]/text()').extract()
logging.log(logging.INFO, sku)
...
items.append(item)
return items
Журнал выполнения показывает это:
2015-12-03 14:54:16 [scrapy] INFO: Scrapy 1.0.3 started (bot: scrapybot)
2015-12-03 14:54:16 [scrapy] INFO: Optional features available: ssl, http11
2015-12-03 14:54:16 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'products.spiders', 'FEED_URI': 'calinxautomat.csv', 'LOG_LEVEL': 'INFO', 'DUPEFILTER_CLASS': 'scrapy.dupefilter.RFPDupeFilter', 'SPIDER_MODULES': ['products.spiders'], 'DEFAULT_ITEM_CLASS': 'products.items.Subcategories', 'FEED_FORMAT': 'csv'}
2015-12-03 14:54:21 [scrapy] INFO: Enabled extensions: CloseSpider, FeedExporter, TelnetConsole, LogStats, CoreStats, SpiderState
2015-12-03 14:54:23 [scrapy] INFO: Enabled downloader middlewares: HttpAuthMiddleware, DownloadTimeoutMiddleware, UserAgentMiddleware, RetryMiddleware, DefaultHeadersMiddleware, MetaRefreshMiddleware, HttpCompressionMiddleware, RedirectMiddleware, CookiesMiddleware, ChunkedTransferMiddleware, DownloaderStats
2015-12-03 14:54:23 [scrapy] INFO: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware
2015-12-03 14:54:23 [scrapy] INFO: Enabled item pipelines: myWriteToCsv
2015-12-03 14:54:23 [root] INFO: before crawler starts...
2015-12-03 14:54:23 [scrapy] INFO: Spider opened
2015-12-03 14:54:24 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2015-12-03 14:54:25 [root] INFO: do login...
2015-12-03 14:54:26 [scrapy] INFO: Closing spider (finished)
2015-12-03 14:54:26 [scrapy] INFO: Dumping Scrapy stats:
...
Так что этот, похоже, не прошел фазу входа в систему... Это похоже на то, что обратный вызов не выходит из formRequest... Что я делаю неправильно?
