Я хочу извлечь сгенерированный контент с веб-страницы.
Я использую запросы библиотеки в python 3, чтобы вернуть страницу, как показано ниже.
import requests
url = "https://app.updateimpact.com/treeof/org.json4s/json4s-
native_2.11/3.5.2"
html_doc = requests.get(url)
print(html_doc.text)
Однако текст извлечения кажется просто дополнением. Какие инструменты я должен искать, чтобы углубиться в контент и извлечь из него информацию?
Javascript должен работать на странице, чтобы предоставить большую часть контента. Использование такого метода, как селен, позволит этому работать. Обратите внимание, что для обеспечения загрузки определенного содержимого требуется дополнительное условие ожидания. Затем вы можете использовать синтаксис селена для извлечения информации или вывода html из page_source в BeautifulSoup.
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup as bs
d = webdriver.Chrome()
d.get('https://app.updateimpact.com/treeof/org.json4s/json4s-native_2.11/3.5.2')
dependencies = WebDriverWait(d, 5).until(EC.presence_of_element_located((By.CSS_SELECTOR , '.stats-list')))
print(dependencies)
soup = bs(d.page_source, 'lxml')
print(soup.select_one('#tree').text) # example
Если содержимое html, вы можете посмотреть:
Если это json, вы должны использовать:
