Механизация и Javascript

Я играл с этой новой альтернативой Mechanize (которая мне нравится) под названием Phantom JS.

Это полноценный веб-браузер, такой как Safari или Chrome, но без заголовка и с поддержкой сценариев. Вы пишете его с помощью javascript, а не python (насколько я знаю, по крайней мере).

Есть несколько примеров сценариев, с которых можно начать. Это очень похоже на использование Firebug. Я потратил всего несколько минут на его использование, но обнаружил, что с самого начала был довольно продуктивным.

Из http://wwwsearch.sourceforge.net/mechanize/faq.html#general

Если вы столкнетесь с этим на странице, которую хотите автоматизировать, у вас есть четыре варианта. Вот они, примерно в порядке простоты.

Выясните, что делает JavaScript, и эмулируйте его в своем коде Python: например, вручную добавляя файлы cookie в ваш экземпляр CookieJar, вызывая методы в HTMLForms, вызывая urlopen и т. д. См. выше формы.

Используйте HtmlUnit из Java или HttpUnit из Jython, поскольку они немного знают JavaScript.

Вместо того, чтобы использовать механизацию, автоматизируйте браузер. Например, используйте MS Internet Explorer через интерфейсы автоматизации COM, используя расширения Python для Windows, также известные как pywin32, также известные как win32all (например, простая функция, pamie; глава о pywin32 из книги O’Reilly) или ctypes (пример). Подобные вещи также могут пригодиться в Windows в случаях, когда отсутствует API автоматизации. Для Firefox есть PyXPCOM.

Будьте амбициозны и автоматически делегируйте работу соответствующему интерпретатору (например, интерпретатору JavaScript от Mozilla). Это то, что делают HtmlUnit и httpunit. Я сделал всплеск в этом направлении несколько лет назад, но я думаю, что (все еще) будет довольно много работы, чтобы сделать это хорошо.

По сути, если вы хотите что-то, что связано с javascript, вам нужен настоящий движок javascript, который неизменно включает автоматизацию реального браузера (я включаю в это безголовые).

HtmlUnit в Java работает не очень хорошо, поскольку не использует движок javascript из реального браузера. Phantom JS звучит идеально (как указывает newz2000), однако я обнаружил, что при манипулировании страницами с помощью javascript может быть очень сложно отладить ваш скрипт, если вы на самом деле не видите страницу, с которой имеете дело.

Это приводит к таким решениям, как Selenium Webdriver, который имеет полный API-интерфейс Python для автоматизации различных браузеров, однако вы должны запустить java jar, и он фактически запускает браузер, поэтому это не чистое решение Python, которое вам нужно (но я думаю, что это как близко, как вы можете получить).

Вы можете использовать Selenium с Python. Затем вы можете очищать содержимое, созданное с помощью JavaScript, а также манипулировать страницей с помощью дополнительного JavaScript (а также Python).

# In your virtualenv: pip install selenium
from selenium import webdriver

# Launch Firefox GUI
browser = webdriver.Firefox()

# Alternatively, you can drive PhantomJS without a GUI
# With Node.js installed: `npm install -g phantomjs`
# browser = webdriver.PhantomJS()

# Fetch a webpage
browser.get('http://example.com')

# If you need the whole HTML document
# just like inspecting the rendered page with the console
html = browser.page_source

# Get an element, even if it was created with JS
button = browser.find_element_by_css_selector('div.some-class > \
                                               input.the-submit-button')

# Click on something
button.click()

# Execute some JavaScript (assumes jQuery is loaded on the page)
browser.execute_script("$('html, body').animate({ scrollTop: 500 }, 50);")

Вы можете запустить код в Python REPL и использовать автозаполнение, чтобы обнаружить методы, доступные для browser или любого другого элемента, который вы выбрали. Или сделайте что-нибудь вроде print(dir(browser)), чтобы увидеть, что доступно.

Пример использования PyV8 для запуска JS в DOM с помощью python можно найти здесь:

https://github.com/buffer/thug

Это должно быть довольно легко заставить его работать вместе с механизировать.