月度归档： 2017年5月

我们在爬大型网站的时候，需要处理上千万乃至上亿的url的去重。如果采用python的自带set,或者redis […]