Разбирать динамически загружаемую (по прокрутке) страницу с помощью JSOUP

Я пытаюсь подсчитать количество приложений для определенной строки. Как Flash Light, и вот ссылка, которую я использую для загрузки страницы в jsoup,

Jsoup.connect("https://play.google.com/store/search?q=Flash+Light&c=apps&gl=us&hl=en")

Проблема в том, что он возвращает только 20 приложений, но когда я открываю его в браузере и прокручиваю вниз, появляется более 100 результатов приложений. При внимательном наблюдении я обнаружил, что впервые PalyStore показывает 20 результатов, остальные результаты извлекаются при прокрутке.

Может ли кто-нибудь сказать мне, как с этим справиться?

Также я просто хочу подсчитать количество результатов, если есть какой-то другой способ, который тоже был бы замечательным.


java web-scraping jquery jsoup scraper
person Zia ur Rehman    schedule 11.10.2016    source источник
comment
Возможный дубликат Получение Jsoup для поддержки динамически генерируемого html с помощью JavaScript   -  person Frederic Klein    schedule 11.10.2016

Ответы (1)


arrow_upward
1
arrow_downward

Jsoup не может обрабатывать динамически загружаемый контент. Вам нужен другой набор инструментов, например htmlunit.

person Andrei Volgin    schedule 11.10.2016
comment
htmlunit слишком медленный, а производительность по времени является основным критерием. - person Zia ur Rehman; 11.10.2016
comment
@ZiaurRehman это по-прежнему лучший вариант для решений только для Java. В противном случае попробуйте фантомы. (аналогичная проблема для поиска изображений Google решена с помощью phantomjs: stackoverflow.com/a/39054195/1661938) - person Frederic Klein; 12.10.2016
comment
@ZiaurRehman: Ваш комментарий не меняет моего ответа - вы не можете сделать это с Jsoup. - person Andrei Volgin; 12.10.2016