Необходимо руководство Scrapy для входа в vBulletin

Я уже прочитал много сообщений на эту тему (включая документы по скраппингу), но по какой-то причине я не могу войти на веб-сайт vBulletin. Позвольте мне уточнить, что я не разработчик, и мои знания о программировании/скрапинге чрезвычайно фундаментальны, поэтому, если кто-то решит помочь, пожалуйста, будьте более конкретными, чтобы понять вас.

Теперь позвольте мне объяснить детали:

Я пытаюсь войти на форумы нашей компании, чтобы извлечь из него информацию и организовать ее в таблицы Excel. Адрес веб-сайта для входа: https://forums.chaosgroup.com/auth/login-form< /а>

Кроме полей имени пользователя (scrapy) и пароля (12345), на исходной странице есть несколько скрытых значений/полей.

<input type="hidden" name="url" value="aHR0cHM6Ly9mb3J1bXMuY2hhb3Nncm91cC5jb20v" />
<input type="hidden" id="vb_loginmd5" name="vb_login_md5password" value="">
<input type="hidden" id="vb_loginmd5_utf8" name="vb_login_md5password_utf" value="">

Когда я отправляю данные с веб-сайта, я получаю следующий запрос POST в инструментах Chrome Inspect:

url:aHR0cHM6Ly9mb3J1bXMuY2hhb3Nncm91cC5jb20v
username:scrapy
password:
vb_login_md5password:827ccb0eea8a706c4c34a16891f84e7b
vb_login_md5password_utf:827ccb0eea8a706c4c34a16891f84e7b

В большинстве случаев это статическая информация. Очень редко я обнаруживал, что скрытый url:value меняет свой последний символ, но в целом все остается по-прежнему.

Теперь я пытаюсь отправить эти данные из паука Scrapy (код ниже), чтобы войти в систему, но паук возвращается на страницу входа вместо открытия реальных форумов.

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import FormRequest
from scrapy.utils.response import open_in_browser
from scrapy.shell import inspect_response


class ForumsSpider(scrapy.Spider):
    name = 'forums'
    start_urls = ['https://forums.chaosgroup.com/auth/login-form/']


    def parse(self, response):
        return FormRequest.from_response(response,
                                         formdata={'url':'aHR0cHM6Ly9mb3J1bXMuY2hhb3Nncm91cC5jb20v',
                                                   'username':'scrapy',
                                                   'password':'',
                                                   'vb_login_md5password':'827ccb0eea8a706c4c34a16891f84e7b',
                                                   'vb_login_md5password_utf':'827ccb0eea8a706c4c34a16891f84e7b'},
                                         callback=self.scrape_home_page)


    def scrape_home_page(self, response):
        open_in_browser(response)
        a = response.css('h1::text').extract_first()
        print(a)
        yield a

Файл журнала, который я получил от Scrapy: https://pastebin.com/XtPHnBcF (для лучшего чтения)

D:\Scrapy\forum>scrapy crawl forums 2018-02-24 11:42:10 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: forum) 2018-02-24 11:42:10 [scrapy.utils.log] INFO: Versions: lxml 4.1.1.0, libxml2
2.9.5, cssselect 1.0.3, parsel 1.3.1, w3lib 1.19.0, Twisted 17.9.0, Python 3.6.4 (v3.6.4:d48eceb, Dec 19 2017, 06:04:45) [M SC v.1900 32 bit (Intel)], pyOpenSSL 17.5.0 (OpenSSL 1.1.0g  2 Nov 2017), cryptography 2.1.4, Platform Windows-8.1-6.3.9600-SP0 2018-02-24 11:42:10 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'forum', 'COOKIES_DEBUG': True, 'DOWNLOAD_DELAY': 3, 'NEWSPIDER_MODULE': 'forum.spiders', 'SPIDER_MODULES': ['forum.spiders ']} 2018-02-24 11:42:10 [scrapy.middleware] INFO: Enabled extensions: ['scrapy.extensions.corestats.CoreStats',  'scrapy.extensions.telnet.TelnetConsole',  'scrapy.extensions.logstats.LogStats'] 2018-02-24 11:42:10 [scrapy.middleware] INFO: Enabled downloader middlewares: ['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',  'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware', 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware', 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',  'scrapy.downloadermiddlewares.retry.RetryMiddleware',  'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',  'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware', 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',  'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',  'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',  'scrapy.downloadermiddlewares.stats.DownloaderStats'] 2018-02-24 11:42:10 [scrapy.middleware] INFO: Enabled spider middlewares: ['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',  'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',  'scrapy.spidermiddlewares.referer.RefererMiddleware',  'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',  'scrapy.spidermiddlewares.depth.DepthMiddleware'] 2018-02-24 11:42:10 [scrapy.middleware] INFO: Enabled item pipelines: [] 2018-02-24 11:42:10 [scrapy.core.engine] INFO: Spider opened 2018-02-24 11:42:10 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2018-02-24 11:42:10 [scrapy.extensions.telnet] DEBUG: Telnet console listening on
127.0.0.1:6023 2018-02-24 11:42:11 [scrapy.downloadermiddlewares.cookies] DEBUG: Received cookies from: <200 https://forums.chaosgroup.com/auth/login-form/> Set-Cookie: bbsessionhash=97ed47f40f0376dd5c33276eefe2cb53; path=/; secure; HttpOnly

Set-Cookie: bblastvisit=1519465318; path=/; secure; HttpOnly

Set-Cookie: bblastactivity=1519465318; path=/; secure; HttpOnly

2018-02-24 11:42:11 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://forums.chaosgroup.com/auth/login-form/> (referer: None) 2018-02-24 11:42:11 [scrapy.downloadermiddlewares.cookies] DEBUG: Sending cookies to: <POST https://forums.chaosgroup.com/auth/login> Cookie: bbsessionhash=97ed47f40f0376dd5c33276eefe2cb53; bblastvisit=1519465318; bblastactivity=1519465318

2018-02-24 11:42:13 [scrapy.downloadermiddlewares.cookies] DEBUG: Received cookies from: <200 https://forums.chaosgroup.com/auth/login> Set-Cookie: bblastactivity=1519465321; path=/; secure; HttpOnly

Set-Cookie: bbsessionhash=58e04286cf781704ef718c38d4dbb0a2; path=/; secure; HttpOnly

2018-02-24 11:42:13 [scrapy.core.engine] DEBUG: Crawled (200) <POST https://forums.chaosgroup.com/auth/login> (referer: https://forums.chaosgroup.com/auth/login-form/) None 2018-02-24 11:42:13 [scrapy.core.engine] INFO: Closing spider (finished) 2018-02-24 11:42:13 [scrapy.statscollectors] INFO: Dumping Scrapy stats: {'downloader/request_bytes': 862,  'downloader/request_count': 2,  'downloader/request_method_count/GET': 1,  'downloader/request_method_count/POST': 1,  'downloader/response_bytes': 3538,  'downloader/response_count': 2,  'downloader/response_status_count/200': 2,  'finish_reason': 'finished',  'finish_time': datetime.datetime(2018, 2, 24, 9, 42, 13, 954670),  'log_count/DEBUG': 6,  'log_count/INFO': 7,  'request_depth_max': 1,  'response_received_count': 2,  'scheduler/dequeued': 2,  'scheduler/dequeued/memory': 2,  'scheduler/enqueued': 2,  'scheduler/enqueued/memory': 2,  'start_time': datetime.datetime(2018, 2, 24, 9, 42, 10, 928535)} 2018-02-24 11:42:13 [scrapy.core.engine] INFO: Spider closed (finished)

Я пытаюсь понять, что я делаю неправильно, сравнил свой код с другими подобными кодами, попытался (и успешно) войти на другие веб-сайты, но мне не удалось заставить его работать с нашим сайтом vBulletin.

Что я делаю не так, чего мне не хватает? Если бы кто-то мог указать на правильное направление, я был бы чрезвычайно благодарен и постараюсь как-то вернуть должок.

Заранее спасибо всем.


python scrapy login vbulletin
person Svetlozar Draganov    schedule 24.02.2018    source источник
comment
привет - добрый день, дорогой Светозар :- большое спасибо за эту тему :; это потрясающе: большое спасибо, дорогой Свеллозар, за то, что поделился своим пониманием этих процессов. Хорошего дня   -  person zero    schedule 06.02.2021

Ответы (1)


arrow_upward
1
arrow_downward

Ваши данные для входа публикуются на https://forums.chaosgroup.com/auth/login.

Если вы посмотрите на источник этой страницы (response.text в вашем scrape_home_page()), вы увидите, среди прочего:

<div class="redirectMessage-wrapper">
        <div id="redirectMessage">Logging in...</div>
</div>


<script type="text/javascript">
(function()
{
        var url = "https://forums.chaosgroup.com" || "/";

        //remove hash from the url of the top most window (if any)
        var a = document.createElement('a');
        a.setAttribute('href', url);
        if (a.hash) {
                url = url.replace(a.hash, '');
        }
        else if (url.lastIndexOf('#') != -1) { //a.hash with just # returns empty
                url = url.replace('#', '');
        }



        window.open(url, '_top');
})();
</script>

Это показывает, что вход действительно был успешным, и вы перенаправляетесь на страницу индекса с помощью JavaScript.
Итак, вы уже вошли в систему, и все, что вам нужно сделать, чтобы продолжить парсинг, это перейти на страницу индекса.

person stranac    schedule 24.02.2018
comment
Я бы никогда не подумал, что логин работает нормально, а проблема на странице после него. Теперь мне нужно прочитать и узнать, как правильно обрабатывать ссылки перенаправления с помощью scrapy, и посмотреть, смогу ли я создать паука оттуда. Большое спасибо, сейчас буду работать в этом направлении, а потом обновлю ветку. - person Svetlozar Draganov; 25.02.2018
comment
Наконец мне удалось открыть главную страницу форума. Большое спасибо, я работал над этим в течение месяца, и у меня не получилось бы без вашего ценного вклада. - person Svetlozar Draganov; 25.02.2018
comment
привет - добрый день, уважаемые Странак и Светлозар: - большое спасибо за информацию - другими словами - приведенный выше пример может успешно войти в общий - vbulletin? Большое спасибо, дорогие Странак и Свеллозар, за то, что поделились своими взглядами на эти процессы. Хорошего дня - person zero; 06.02.2021
comment
Пожалуйста :) - person Svetlozar Draganov; 25.03.2021