认识爬虫

网络爬虫又称网络蜘蛛、网络机器人，它是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页，并将所需要的数据抓取下来。通过对抓取的数据进行处理，从而提取出有价值的信息。

爬虫分类

爬虫可分为三大类：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫。

通用网络爬虫：通用网络爬虫需要遵守 robots 协议，网站通过此协议告诉搜索引擎哪些页面可以抓取，哪些页面不允许抓取。
robots 协议：是一种“约定俗称”的协议，并不具备法律效力，它体现了互联网人的“契约精神”。行业从业者会自觉遵守该协议，因此它又被称为“君子协议”。
聚焦网络爬虫：是面向特定需求的一种网络爬虫程序。它与通用爬虫的区别在于，聚焦爬虫在实施网页抓取的时候会对网页内容进行筛选和处理，尽量保证只抓取与需求相关的网页信息。聚焦网络爬虫极大地节省了硬件和网络资源，由于保存的页面数量少所以更新速度很快，这也很好地满足一些特定人群对特定领域信息的需求。
增量式网络爬虫：是指对已下载网页采取增量式更新，它是一种只爬取新产生的或者已经发生变化网页的爬虫程序，能够在一定程度上保证所爬取的页面是最新的页面。

编写爬虫的流程

爬虫程序与其他程序不同，它的的思维逻辑一般都是相似的， 所以无需我们在逻辑方面花费大量的时间。下面对 Python 编写爬虫程序的流程做简单地说明：

  • 先由 urllib 模块的 request 方法打开 URL 得到网页 HTML 对象。
  • 使用浏览器打开网页源代码分析网页结构以及元素节点。
  • 通过 Beautiful Soup 或则正则表达式提取数据。
  • 存储数据到本地磁盘或数据库。

    爬虫基本原理

    网页请求的过程分为两个环节：
  1. Request （请求）：每一个展示在用户面前的网页都必须经过这一步，也就是向服务器发送访问请求。
  2. Response（响应）：服务器在接收到用户的请求后，会验证请求的有效性，然后向用户（客户端）发送响应的内容，客户端接收服务器响应的内容，将内容展示出来，就是我们所熟悉的网页请求，如图 ：python爬虫 - 图1

网页请求的方式也分为两种：
1.GET：最常见的方式，一般用于获取或者查询资源信息，也是大多数网站使用的方式，响应速度快。
2.POST：相比 GET 方式，多了以表单形式上传参数的功能，因此除查询信息外，还可以修改信息。
所以，在写爬虫前要先确定向谁发送请求，用什么方式发送。

使用GET方式抓取数据

复制任意一条首页首条新闻的标题，在源码页面按【Ctrl+F】组合键调出搜索框，将标题粘贴在搜索框中，然后按【Enter】键。
确定好请求对象和方式后，在 PyCharm 中输入以下代码：

  1. import requests        #导入requests包
  2. url = 'http://www.cntour.cn/'
  3. strhtml = requests.get(url)        #Get方式获取网页数据
  4. print(strhtml.text)

加载库使用的语句是 import+库的名字。在上述过程中，加载 requests 库的语句是：import requests。

用 GET 方式获取数据需要调用 requests 库中的 get 方法，使用方法是在 requests 后输入英文点号，如下所示：

  1. requests.get

将获取到的数据存到 strhtml 变量中，代码如下：

  1. strhtml = request.get(url)

这个时候 strhtml 是一个 URL 对象，它代表整个网页，但此时只需要网页中的源码，下面的语句表示网页源码：

  1. strhtml.text

urllib

(1) urlopen()

表示向网站发起请求并获取响应对象，如下所示：

  1. urllib.request.urlopen(url,timeout)

urlopen() 有两个参数，说明如下：

  • url：表示要爬取数据的 url 地址。

  • timeout：设置等待超时时间，指定urllib.request.urlopen(url,timeout)内未得到响应则抛出超时异常。

    (2) Request()

    该方法用于创建请求对象、包装请求头，比如重构 User-Agent（即用户代理，指用户使用的浏览器）使程序更像人类的请求，而非机器。重构 User-Agent 是爬虫和反爬虫斗争的第一步。

    1. urllib.request.Request(url,headers)

    参数说明如下：

  • url：请求的URL地址。

  • headers：重构请求头。

    (3) html响应对象方法

    1. bytes = response.read()  # read()返回结果为 bytes 数据类型
    2. string = response.read().decode() # decode()将字节串转换为 string 类型
    3. url = response.geturl() # 返回响应对象的URL地址
    4. code = response.getcode() # 返回请求时的HTTP响应

    (4) 编码解码操作

    字符串转换为字节码 string.encode(“utf-8”)
    #字节码转换为字符串 bytes.decode(“utf-8”)