BloomFilter与redis联合去重的python的代码
我们在爬大型网站的时候，需要处理上千万乃至上亿的url的去重。如果采用python的自带set,或者redis的set,那就需要占用很大的内存。如果存入将url存入数据库去重，那速度又会变慢。这种量级以上的去重，一般是采用BloomFilter，但是如果机器down机了，那BloomFilter在内 […]
selenium 修改phantomjs user-Agent请求头和禁止加载图片的方法
phantomjs是一个没有界面的浏览器，支持各种web标准，提供DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG，对于爬取一些经过js渲染的页面非常有用。 但是phantomjs默认的user-agent一般都被那些防采集的网站屏蔽了，鬼都知道用这个浏览器，都是来爬取网页的 […]