承接业务:仿站,建站,网站seo优化顾问……,请联系qq: 1470504292
  • 一个新手如何从零开始学习seo网站优化
python

python打包生成exe程序软件

python打包生成exe程序软件
如果我们需要将写好的python程序分享给他人使用,而对方电脑上没有python环境,并且对方还是个小白。这种情况下,我们丢几个py文件过去,对方肯定懵逼。 在Windows系统下,我们可以将python程序生成exe文件,这样对方不用安装python环境,直接打开exe文件就可...

2017-11-16 46浏览 1评论 0喜欢

爬虫项目

scrapy分布式爬虫使用bloomfilter去重

scrapy分布式爬虫使用bloomfilter去重
在上一篇博文中,我们介绍scrapy简单的分布式爬虫是通过scrapy-redis这个模块来实现的。各个服务器上的爬虫访问同一个服务器上的redis,通过redis的set来去重。通过这种方式来去重,有一个问题就是当爬取的网页很多,几百万上千万或者更多的时候,那就非常占用内存了。...

2017-06-14 1451浏览 0评论 3喜欢

其他

redis开启远程连接访问和需要密码的方法

redis开启远程连接访问和需要密码的方法
redis默认是不能远程访问的,如果希望多台机子共用redis数据库,那就需要开启redis远程连接访问。既然可以远程连接了,那就需要密码登陆,否则不安全。 下面是具体的方法,按照步骤一步一步来就OK了 下面代码的运行环境为 centos 7 redis 3.2.9 一、配置...

2017-06-12 570浏览 0评论 1喜欢

python

scrapy通过脚本运行的简单方法

scrapy通过脚本运行的简单方法
我们在写好scrapy爬虫之后,每次运行都要在控制器里写这一段 scrapy crawl spiders1(爬虫名字) 很烦人!! 还有我们当我们需要通过运行脚本的方式开启scrapy爬虫,网上给出大多是很复杂的方法,复杂就复杂吧,还不好用。 均益这里给出的这种运行scr...

2017-06-06 621浏览 0评论 2喜欢

python

BloomFilter与redis联合去重的python的代码

BloomFilter与redis联合去重的python的代码
我们在爬大型网站的时候,需要处理上千万乃至上亿的url的去重。如果采用python的自带set,或者redis的set,那就需要占用很大的内存。如果存入将url存入数据库去重,那速度又会变慢。这种量级以上的去重,一般是采用BloomFilter,但是如果机器down机了,那Blo...

2017-05-31 990浏览 0评论 1喜欢