简介
官方地址:http://webmagic.io/
使用
在使用过程中,由于webmagic的0.7.3在maven仓库中对ssl支持不是很完全,作者说在0.7.4中会更新,但是一直没有更新,但是github中已经更新了,所以需要在github上下载下来,安装到本地仓库就行了,地址:https://github.com/code4craft/webmagic
去重
SimHash
Google的去重算法,相似度去重算法,性能高
了解地址:http://www.lanceyan.com/tag/simhash
代理
获取当前ip地址:
米扑代理:https://proxy.mimvp.com/free.php
SimpleProxyProvider