HTTP-ошибка веб-краулера 403: запрещено

Я новичок, пытаюсь написать скрипт веб-паука. Я хочу перейти на страницу, ввести данные в текстовое поле, перейти на следующую страницу, нажав кнопку отправки, и получить все данные на новой странице итеративно.

Ниже приведен код, который я пытаюсь:

import urllib
import urllib2
import string
import sys
from BeautifulSoup import BeautifulSoup

hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3','Accept-Encoding': 'none','Accept-Language': 'en-US,en;q=0.8','Connection': 'keep-alive'}
values = {'query' : '5ed10c844ed4266a18d34e2ba06b381a' }
data = urllib.urlencode(values)
request = urllib2.Request("https://www.virustotal.com/#search", data, headers=hdr)
response = urllib2.urlopen(request)
the_page = response.read()
pool = BeautifulSoup(the_page)

print pool

Ошибка следующая:

Traceback (most recent call last):
File "C:\Users\Dipanshu\Desktop\webscraping_demo.py", line 19, in <module>
response = urllib2.urlopen(request)
File "C:\Python27\lib\urllib2.py", line 126, in urlopen
return _opener.open(url, data, timeout)
File "C:\Python27\lib\urllib2.py", line 406, in open
response = meth(req, response)
File "C:\Python27\lib\urllib2.py", line 519, in http_response
'http', request, response, code, msg, hdrs)
File "C:\Python27\lib\urllib2.py", line 444, in error
return self._call_chain(*args)
File "C:\Python27\lib\urllib2.py", line 378, in _call_chain
result = func(*args)
File "C:\Python27\lib\urllib2.py", line 527, in http_error_default
raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
HTTPError: HTTP Error 403: Forbidden

Как я могу это решить?


python web-crawler http-error
person Dipanshu    schedule 21.12.2012    source источник
comment
Неверный путь. POST /search/   -  person Anonymous Coward    schedule 21.12.2012
comment
Возможный дубликат urllib2.HTTPError: Ошибка HTTP 403: Запрещено   -  person Supreet Sethi    schedule 03.10.2017

Ответы (2)


arrow_upward
1
arrow_downward 

from bs4 import BeautifulSoup
import urllib.request

user_agent = 'Mozilla/5.0'
headers = {'User-Agent': user_agent }
target_url = 'https://www.google.co.kr/search?q=cat&source=lnms&tbm=isch&sa=X&ved=0ahUKEwjtrZCg7uXbAhVaUd4KHc2HDgIQ_AUICygC&biw=1375&bih=842'

request = urllib.request.Request( url=target_url, headers=headers )
req = urllib.request.urlopen(request)
soup = BeautifulSoup(req.read(), 'html.parser')

target_url : веб-страница поиска Google для «кошки»

«заголовки» помогут вам пройти через запрещенную ошибку. Этот код

person Dane Lee    schedule 21.06.2018

arrow_upward
0
arrow_downward

Насколько я понимаю, ваши параметры request настроены неправильно и (возможно) ведут вашего паука на страницу, которую вы не должны просматривать.

У этого пользователя была аналогичная проблема, но он решил ее, изменив заголовки.

person NlightNFotis    schedule 21.12.2012
comment
Я уже добавил все заголовки, указанные в этом сообщении, и это все еще не сработало! - person Dipanshu; 21.12.2012
comment
@Dipanshu Я не думаю, что вам нужно добавлять заголовки, указанные в этом сообщении, поскольку он пытается открыть другой сайт. Вы должны настроить существующий request и его параметры. - person NlightNFotis; 21.12.2012