scrapy通过脚本运行的简单方法

我们在写好scrapy爬虫之后,每次运行都要在控制器里写这一段

scrapy crawl spiders1(爬虫名字)

很烦人!!
还有我们当我们需要通过运行脚本的方式开启scrapy爬虫,网上给出大多是很复杂的方法,复杂就复杂吧,还不好用。
均益这里给出的这种运行scrapy爬虫的方式,非常简单,我们就像运行一个python文件一样。

方法就是:

在爬虫的根目录(就是有这个scrapy.cfg文件的目录)建立一个main.py文件,文件代码如下

 
# coding=utf-8
from scrapy import cmdline
 
if __name__ == '__main__':
    cmdline.execute('scrapy crawl Spider1'.split()) #这就是我们在命令行中的代码
    # cmdline.execute('scrapy crawl Spider2 -o items.csv -t csv'.split())

这样,我们只需要运行main.py这个文件,就可以开启scrapy爬虫。
是不是很简单?是不是很方便啊?

发表评论