什么是爬虫？

• 模拟人访问网页的过程，将数据抓取下来，使用一定规则提取有价值的数据
• 关键字：
  • 模拟:
    • 浏览器本身就是一个纯天然的原始爬虫工具
  • 抓取:
    • 抓取一整张的页面源码数据

爬虫的分类:

• 通用爬虫:
  • 要求我们爬取一整张页面的源码数据，做网页镜像
• 聚焦爬虫:
  • 针对特定需求，爬取时会对网页内容进行筛选和处理
• 增量式爬虫:
  • 用来监测网站数据更新的情况，以便爬取到网站最新更新出来的数据（爬没爬过的数据）
• 分布式爬虫:
  • 提高爬取效率的终极武器。

反爬机制

• 是作用在门户网站中。如果网站不想让爬虫轻易爬取数据，它可以制定相关的机制或者措施阻止爬虫程序爬取其数据

爬虫案例

• 搜索引擎
• 购票软件
• 伯乐在线
• 数据分析与研究
  

python开发爬虫

• HTTP请求模块和html解析模块丰富，Scrapy和Scrapy-redis框架开发更简单