Как обрабатывать множественное перенаправление с помощью Guzzle, Goutte и Symfony 3?

Я хочу сканировать https://www.socialbakers.com/, но у меня возникают проблемы с обработкой множественных перенаправлений при создании поста при входе на сайт. Первое перенаправление выполняется на HTML-страницу с JavaScript, выполняющим перенаправление.

Я хочу отследить все URL-адреса запроса на перенаправление и, если возможно, отправить/получить запрос для каждого URL-адреса.


php web-crawler guzzle6 symfony-3.2 goutte
person Mighty Saviour    schedule 05.04.2017    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Goutte — это простой парсер, поскольку он не поддерживает JS.

Если вы застряли на JS, вам нужно что-то более мощное, например, Selenium или PhantomJS.

Взгляните на PhantomJS, это просто и быстро.

Selenium также имеет драйвер для PhantomJS, если вы предпочитаете использовать PHP (вы можете использовать Mink с Selenium и PhantomJS).

person Alexey Shokov    schedule 06.04.2017