Scrapy单元测试
5 浏览
Scrapy单元测试
我想在Scrapy（屏幕抓取器/网络爬虫）中实现一些单元测试。由于项目是通过"scrapy crawl"命令运行的，我可以通过类似nose的工具来运行它。由于scrapy是基于twisted构建的，我可以使用它的单元测试框架Trial吗？如果可以，怎么使用？否则，我想让nose正常工作。
更新:
我在Scrapy-Users上进行了讨论，我猜我应该"在测试代码中构建Response对象，然后调用方法并断言在输出中得到了预期的items/requests"。但是我似乎无法让它工作。
我可以构建一个单元测试类，并在一个测试中：
- 创建一个response对象
- 尝试使用response对象调用我的spider的parse方法
然而，它最终生成了这个追踪信息。有关为什么会发生这种情况的任何见解吗？