我们在写好scrapy爬虫之后,每次运行都要在控制器里写这一段
scrapy crawl spiders1(爬虫名字)
很烦人!!
还有我们当我们需要通过运行脚本的方式开启scrapy爬虫,网上给出大多是很复杂的方法,复杂就复杂吧,还不好用。
均益这里给出的这种运行scrapy爬虫的方式,非常简单,我们就像运行一个python文件一样。
方法就是:
在爬虫的根目录(就是有这个scrapy.cfg文件的目录)建立一个main.py文件,文件代码如下
# coding=utf-8 from scrapy import cmdline if __name__ == '__main__': cmdline.execute('scrapy crawl Spider1'.split()) #这就是我们在命令行中的代码 # cmdline.execute('scrapy crawl Spider2 -o items.csv -t csv'.split())
这样,我们只需要运行main.py这个文件,就可以开启scrapy爬虫。
是不是很简单?是不是很方便啊?