如何使用Selenium获取通过JavaScript渲染的HTML源代码

11 浏览
0 Comments

如何使用Selenium获取通过JavaScript渲染的HTML源代码

我在一个网页中运行了一个查询,然后得到了结果的URL。如果我右键点击查看HTML源代码,我可以看到由JS生成的HTML代码。如果我简单地使用urllib,Python无法获取JS代码。所以我看到一些使用selenium的解决方案。以下是我的代码:

from selenium import webdriver
url = 'http://www.archives.com/member/Default.aspx?_act=VitalSearchResult&lastName=Smith&state=UT&country=US&deathYear=2004&deathYearSpan=10&location=UT&activityID=9b79d578-b2a7-4665-9021-b104999cf031&RecordType=2'
driver = webdriver.PhantomJS(executable_path='C:\python27\scripts\phantomjs.exe')
driver.get(url)
print driver.page_source
>>>          显然这是不正确的!

这是我需要在右键点击窗口中的源代码(我需要的信息部分)

所以我的问题是:如何获取由JS生成的信息?

0