安装:
pip install scrapy-redis
scrapy_redis在scrapy的基础上实现了更多,更强大的功能,具体体现在:
请求对象的持久化
去重的持久化
实现分布式
scrapy-redis只是替换了redis的几个组件,不是一个新的框架。
scrapy_redis的流程
在scrapy_redis中,所有的带抓取的对象和去重的指纹都存在所有的服务器公用的redis中
所有的服务器共用一个redis中的request对象
所有的request对象存入redis前,都会在同一个redis中进行判断,之前是否已经存入过
在默认情况下所有的数据会保存在redis中

上一篇:使用python函数画菱形的方法