点击Scrapy中的按钮
- 论坛
- 点击Scrapy中的按钮
14 浏览
点击Scrapy中的按钮
我正在使用Scrapy来爬取一个网页。我需要的一些信息只在点击某个按钮后才会出现(当然也会在点击后的HTML代码中出现)。
我发现Scrapy可以处理表单(比如登录),如这里所示。但问题是没有表单需要填写,所以这并不完全符合我的需求。
我应该如何简单地点击一个按钮,然后显示我需要的信息呢?
我需要使用像mechanize或lxml这样的外部库吗?
我正在使用Scrapy来爬取一个网页。我需要的一些信息只在点击某个按钮后才会出现(当然也会在点击后的HTML代码中出现)。
我发现Scrapy可以处理表单(比如登录),如这里所示。但问题是没有表单需要填写,所以这并不完全符合我的需求。
我应该如何简单地点击一个按钮,然后显示我需要的信息呢?
我需要使用像mechanize或lxml这样的外部库吗?