最新发布 第2页

均益个人博客均益个人博客

python

python打包生成exe程序软件

python打包生成exe程序软件
如果我们需要将写好的python程序分享给他人使用,而对方电脑上没有python环境,并且对方还是个小白。这种情况下,我们丢几个py文件过去,对方肯定懵逼。 在Windows系统下,我们可以将python程序生成exe文件,这样对方不用安装python环境,直接打开exe文件就可...

2017-11-16 1733浏览 2评论 2喜欢

爬虫项目

scrapy分布式爬虫使用bloomfilter去重

scrapy分布式爬虫使用bloomfilter去重
在上一篇博文中,我们介绍scrapy简单的分布式爬虫是通过scrapy-redis这个模块来实现的。各个服务器上的爬虫访问同一个服务器上的redis,通过redis的set来去重。通过这种方式来去重,有一个问题就是当爬取的网页很多,几百万上千万或者更多的时候,那就非常占用内存了。...

2017-06-14 4245浏览 0评论 14喜欢

其他

redis开启远程连接访问和需要密码的方法

redis开启远程连接访问和需要密码的方法
redis默认是不能远程访问的,如果希望多台机子共用redis数据库,那就需要开启redis远程连接访问。既然可以远程连接了,那就需要密码登陆,否则不安全。 下面是具体的方法,按照步骤一步一步来就OK了 下面代码的运行环境为 centos 7 redis 3.2.9 一、配置...

2017-06-12 2743浏览 0评论 5喜欢

python

scrapy通过脚本运行的简单方法

scrapy通过脚本运行的简单方法
我们在写好scrapy爬虫之后,每次运行都要在控制器里写这一段 scrapy crawl spiders1(爬虫名字) 很烦人!! 还有我们当我们需要通过运行脚本的方式开启scrapy爬虫,网上给出大多是很复杂的方法,复杂就复杂吧,还不好用。 均益这里给出的这种运行scr...

2017-06-06 1801浏览 0评论 3喜欢