Я экспериментирую с http://robobrowser.readthedocs.org/en/latest/readme.html, новая библиотека Python, основанная на прекрасном супе и библиотеках запросов. В настоящее время я использую его, чтобы открыть серию страниц и сохранить ответ в список для последующего анализа. Список в моем отладчике выглядит так:
pages = [<Response [200]>, <Response [200]> ....]
Я сгенерировал этот список, запустив объект robobrowser в цикле по некоторым страницам и сохранив ответы:
while pageRight:
browser.follow_link(pageright[0])
browser
page = browser.response
pages.append(page)
pageRight= browser.select(".pageright")
Эта вышеприведенная часть, кажется, работает нормально, однако, когда я пытаюсь:
ag = "myagent"
browser = RoboBrowser(user_agent=ag)
for page in pages:
browser.open(page.content)
for listing in browser.select('.listingInfo'): #a list
pl = getParsedListing(listing)
listings.append(pl)
в моем индексном файле django я получаю сообщение об ошибке:
InvalidSchema at /index/
No connection adapters were found for..
проследить:
Traceback:
File "C:\envs\r1\lib\site-packages\django\core\handlers\base.py" in get_response
114. response = wrapped_callback(request, *callback_args, **callback_kwargs)
File "C:\envs\r1\lib\site-packages\django\views\decorators\csrf.py" in wrapped_view
57. return view_func(*args, **kwargs)
File "C:\envs\r1\masslist\ml1\views.py" in index
29. Sites = getSitesInArea(Area)
File "C:\envs\r1\masslist\ml1\views.py" in getSitesInArea
91. browser.open(page.content)
File "C:\envs\r1\lib\site-packages\robobrowser\browser.py" in open
200. verify=verify if verify is not None else self.verify,
File "C:\envs\r1\lib\site-packages\requests\sessions.py" in get
468. return self.request('GET', url, **kwargs)
File "C:\envs\r1\lib\site-packages\requests\sessions.py" in request
456. resp = self.send(prep, **send_kwargs)
File "C:\envs\r1\lib\site-packages\requests\sessions.py" in send
553. adapter = self.get_adapter(url=request.url)
File "C:\envs\r1\lib\site-packages\requests\sessions.py" in get_adapter
608. raise InvalidSchema("No connection adapters were found for '%s'" % url)
Exception Type: InvalidSchema at /index/
Exception Value: No connection adapters were found for '
Что я делаю не так?
http://www.google.com
- person karthikr   schedule 22.07.2014