分类： 爬虫项目

在上一篇博文中，我们介绍scrapy简单的分布式爬虫是通过scrapy-redis这个模块来实现的。各个服务器 […]

原理 所有机子连接同一个redis,获取和存放url scrapy和redis通过scrapy-redis连接 […]