Selenium与BeautifulSoup用于网页抓取的比较
22 浏览
Selenium与BeautifulSoup用于网页抓取的比较
我正在使用Python从一个网站抓取内容。一开始我使用Python的BeautifulSoup和Mechanize，但是我发现该网站有一个通过JavaScript创建内容的按钮，所以我决定使用Selenium。
考虑到我可以使用Selenium的方法（如driver.find_element_by_xpath）找到元素并获取它们的内容，那么为什么还要使用BeautifulSoup呢？我为什么不直接使用Selenium来完成所有的工作呢？
在这种特定情况下，我需要使用Selenium来点击JavaScript按钮，那么是更好地同时使用Selenium和Beautiful Soup解析，还是只使用Selenium呢？