爬虫介绍

如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物，而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取自己想要的数据。

  • 解释1：通过一个程序，根据Url(http://www.taobao.com))进行爬取网页，获取有用信息
  • 解释2：使用程序模拟浏览器，去向服务器发送请求，获取响应信息

    爬虫核心

  1. 爬取网页：爬取整个网页 包含了网页中所有内容
  2. 解析数据：将网页中你得到的数据 进行解析
  3. 难点：爬虫和反爬虫之间的博弈

    爬虫的用途

  • 数据分析/人工数据集
  • 社交软件冷启动
  • 舆情监控
  • 竞争对手监控

    爬虫分类

    image.png
    image.png

    反爬手段

  1. User‐Agent：

User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

  1. 代理IP
  • 西次代理
  • 快代理
  • 什么是高匿名、匿名和透明代理？它们有什么区别？
    • 使用透明代理，对方服务器可以知道你使用了代理，并且也知道你的真实IP。
    • 使用匿名代理，对方服务器可以知道你使用了代理，但不知道你的真实IP。
    • 使用高匿名代理，对方服务器不知道你使用了代理，更不知道你的真实IP。
  1. 验证码访问：打码平台
  2. 动态加载网页：网站返回的是js数据 并不是网页的真实数据
  3. 数据加密：分析js代码