等待页面加载完毕使用Selenium WebDriver for Python。

5 浏览
0 Comments

等待页面加载完毕使用Selenium WebDriver for Python。

我想要爬取一个使用无限滚动实现的页面的所有数据。以下的Python代码可以实现这个功能：

for i in range(100):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(5)

这意味着每次我滚动到页面底部时，我需要等待5秒钟，这通常足够页面加载新生成的内容。但是，这可能不是时间上的高效解决方案。页面可能在5秒钟内完成加载新内容。我如何检测页面每次滚动到底部后是否已完成加载新内容？如果我能够检测到这一点，我可以知道页面已完成加载后再次滚动以查看更多内容。这样会更加高效。

0