爬虫分通用型爬虫和垂直型爬虫.
通用型爬虫通常是针对网页无差别进行抓取.例如:搜索引擎蜘蛛.
难点 : 页面下载和链接管理上,如果要高效抓取更多页面,就必须进行更快下载,同时随着链接数量的增多,需要考虑如果对大规模的链接进行去重和调度.就成了一个很大的问题;
常见的框架 : Nutch , Heritrix , WebMagic

垂直行爬虫: 关注内容与准确还有效率,仅仅抓取到有效有用的数据,并且在爬虫抓取之初能够把抓取到的内容进行简单的处理.如:提取标题,内容时间等
难点 如果高效的定制一个爬虫,可以精确的抽取出网页的内容,并保存成结构haul的数据.
常见框架 : webmagic

1. Nutch

Nutch 属于分布式爬虫, 爬虫使用分布式, 主要解决两个问题, 一是海量 URL 管理, 二是网速, 如果要做搜索引擎, Nutch 是一个非常好的选择, Nutch 和 solr 或者 es 配合就可以构建一套非常强大的搜索引擎, 否则尽量不要选择Nutch作为爬虫. 用 Nutch 进行爬虫二次开发, 爬虫编写和调试所需要的时间,往往是单机爬虫所需要的十倍时间不止

2. Heritrix

Heritrix是一个开源，可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑

3. crawler4j

Crawler4j是一个开源的Java类库提供一个用于抓取Web页面的简单接口。可以利用它来构建一个多线程的Web爬虫

4. WebCollector

WebCollector 是一个无须配置、便于二次开发的 JAVA 爬虫框架（内核），提供精简的的 API，只需少量代码即可实现一个功能强大的爬虫。源码中集成了 Jsoup，可进行精准的网页解析，2.x 版本中集成了 selenium，可以处理 JavaScript 生成的数据。

5. WebMagic

webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发.

6. Jsoup

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。