最新发布 第3页

均益个人博客均益个人博客

python

BloomFilter与redis联合去重的python的代码

BloomFilter与redis联合去重的python的代码
我们在爬大型网站的时候,需要处理上千万乃至上亿的url的去重。如果采用python的自带set,或者redis的set,那就需要占用很大的内存。如果存入将url存入数据库去重,那速度又会变慢。这种量级以上的去重,一般是采用BloomFilter,但是如果机器down机了,那Blo...

2017-05-31 10159浏览 0评论 2喜欢

python

python 常用日期和时间格式化操作

python 常用日期和时间格式化操作
均益总结整理一下python获取当前时间的方法,包括获取时间戳和格式化的时间,大家如果还需要其他python操作时间的方法,可以在评论里留言,均益继续更新上去。 python 获取当前的时间戳(1970年后经过的浮点秒数) import time print time.ti...

2017-04-13 1409浏览 0评论 1喜欢

linux

wdcp v3 apache 安装阿里云SSL证书详细教程

wdcp v3 apache 安装阿里云SSL证书详细教程
本文应用场景 1、wdcp v3版本 2、apache引擎,不是nginx 3、阿里云的SSL证书,不是别的 4、这是本文的应用场景,如果不符合上面的条件,不保证能安装成功,整个过程仅供参考学习 阿里云SSL证书申请流程 1、在阿里云搜索证书服务,找到购买页面。均益这里提供链接,...

2017-04-07 9584浏览 7评论 17喜欢

linux

linux后台运行、关闭和查看程序的方法

linux后台运行、关闭和查看程序的方法
一、关闭终端后,后台依然运行的程序的方法 nohup python main.py & (其中python main.py就是我们要运行的程序) 用这个命令,关闭终端后,在另一个终端查看运行的方法 ps -aux #a:显示所有程序 u:以用户为主的格...

2017-02-19 1090浏览 0评论 2喜欢

linux

linux定时执行python脚本的方法以及失败不执行的处理方法

linux定时执行python脚本的方法以及失败不执行的处理方法
均益最近写了个python脚本,需要每天固定个时间执行一次。在shell窗口下执行是没问题的,但是定时任务的时候老是不执行。如果你也遇到与均益一样的问题,那么可以看一下下面的内容,你肯定可以找到解决方案的。这是均益花不少时间整理出来的。 首页,linux定时任务用到的是cron...

2016-11-22 3339浏览 4评论 5喜欢

python

python使用xmlrpc自动发布文章到wordpress

python使用xmlrpc自动发布文章到wordpress
均益采集文章,一般是用python,而网站程序是wordpress的,本来想直接将文章插入数据库的,但是wordpress的数据表有点麻烦。 所以均益使用python的 wordpress_xmlrpc模块,这个模块的使用方法请看 https://python-wordpress...

2016-11-18 5382浏览 2评论 9喜欢