上一章讲了 HTTP 协议的组成部分和特点，今天基于 HTTP 协议我们来讲一讲 HTTPS 协议的原理，了解为什么已经有了 HTTP 协议了，还需要 HTTPS 协议？

HTTPS 协议的由来

由于 HTTP 协议在通信过程中，是基于明文通信，并且底层是基于 TCP/IP 协议进行通信，那么按照 TCP/IP 协议族的工作机制，通信内容在所有的通信线路上都有可能遭到拦截和窃取。窃取这个过程其实很简单，通过抓包工具 Wireshark 就可以截获请求和响应的内容。

由于 HTTP 协议通信的不安全性，所以人们为了防止信息在传输过程中遭到泄漏或者篡改，就想出来对传输通道进行加密。

HTTPS 是一种加密的超文本传输协议，它与 HTTP 在协议差异在于对数据传输的过程中，HTTPS 对数据做了加密。由于 HTTP 协议或者 HTTPS 协议都是处于 TCP 传输层之上，同时网络协议又是一个分层的结构，所以在 TCP 协议层和HTTP 协议层之间增加了一层 SSL（Secure Socket Layer，安全层）或者 TLS（Transport Layer Security） 安全层传输协议，用于构造加密通道。

SSL 是 Netscape 公司设计的，后来互联网标准化组织 ISOC 接替了 Netscape 公司，发布了 SSL 的升级版 TLS。接着 TLS 的版本又进行了多次升级，实际上我们现在的 HTTPS 都是用的 TLS 协议，但是由于 SSL 出现的时间比较早，并且依旧被现在浏览器所支持，因此 SSL 依然是 HTTPS 的代名词。

image.png

逆向推导 HTTPS 的设计过程

在逆向推导之前，需要先了解一下《常见的加密算法》，先建立一个概念。

我们先不去探究 SSL 的实现原理，我们先从设计者的角度去思考如何建立一个安全的传输通道。

从第一个消息开始

客户端 A 向服务端 B 发送一条消息，这个消息可能会被拦截以及篡改，我们如何做到 A 发送给 B 的数据包，即使被拦截了，也没办法得知消息内容并且也不能查看呢？

image.png

利用对称加密

要做到消息不能被第三方查看以及篡改，那么第一想法就是对内容进行加密，同时该消息还需要能被服务端进行解密。所以我们可以使用对称加密算法来实现，密钥 S 扮演着加密和解密的角色。在密钥 S 不公开的情况下，就可以保证安全性？

image.png

没那么简单

在互联网世界，通信不会这么简单，也许是这样。

image.png

会存在多个客户端和服务端产生连接，而这个客户端也许是一个潜伏者，如果他也有对称密钥 S，那相当于上面的方案是不可行的。如果服务端和每个客户端通信的时候使用不同的加密算法呢？

image.png

似乎能够完美解决问题，然后密钥如何分配呢？也就是服务端怎么告诉客户端该使用那种对称加密算法呢？解决办法似乎只能通过建立会话以后进行协商了。

协商过程又是不安全的

协商过程，意味着又是基于一个网络传输的情况下去动态分配密钥，可是这个协商过程又是不安全的，怎么处理？

非对称加密出马

非对称加密算法的特点是：私钥加密后的密文，只要有公钥，都能解密，但是公钥加密后的密文，只有私钥可以解密。私钥只有一个人有，而公钥可以发给所有人。

image.png

这样就可以保证 A/B 向服务器端方向发送的消息是安全的。似乎我们通过非对称加密算法解决了密钥的协商的问题。

公钥怎么拿？

使用非对称加密算法，那么如何让 A、B 客户端安全地持有公钥？有两种我们能想到的方案：

  1. 服务器端将公钥发送给每一个客户端。
  2. 服务器端将公钥放到一个远程服务器，客户端可以请求到（多了一次请求，还得解决公钥放置问题）。

方案一似乎是不可行的，因为传输过程又是不安全的，公钥可能会被掉包。

image.png

引入第三方机构

到上面这一步，最关键的问题是，客户端如何确保公钥的真实性，所以引入一个可信任的第三者是一个好的方案。
服务端把需要传递给客户端的公钥，通过第三方机构提供的私钥对公钥内容进行加密后，再传递给客户端。 通过第三方机构私钥对服务端公钥加密以后的内容，就是一个简陋版本的“数字证书”，这个证书中包含了服务器公钥。

image.png

image.png

客户端拿到这个证书以后，因为证书是第三方机构使用私钥加密的。客户端必须要有第三方机构提供的公钥才能解密证书。这块又涉及到第三方机构的公钥怎么传输？第三方机构颁发的证书是面向所有用户，不会只针对一家发放，如果不法分子也去申请一个证书呢？

如果不法分子也拿到证书？

如果不法分子也申请了证书，那它可以对证书进行调包。客户端在这种情况下是无法分辨出收到的是你的证书，还是中间人的，因为不论是中间人的还是你的证书都能使用第三方机构的公钥进行解密。

image.png

image.png

验证证书的有效性

事情发展到现在，问题演变成了，客户端如何识别证书的真伪？在现实生活中，要验证一个东西的真伪，绝大部分都是基于编号去验证（比如大学毕业证书，比如买的数码产品是否是山寨），所以在这里，解决方案也是一样，如果给这个数字证书添加一个证书编号，是不是就能达到目的呢？

证书上写了如何根据证书的内容生成证书编号。客户端拿到证书后根据证书上的方法自己生成一个证书编号，如果生成的证书编号与证书上的证书编号相同，那么说明这个证书是真实的。这块有点类似于 MD5 的验证，我们下载一个软件包，都会提供一个 MD5 的值，我们可以拿到这个软件包以后通过一个第三方软件去生成一个 MD5 值去做比较，是不是一样，如果一样表示这个软件包没被篡改过。

对服务端的数据进行 MD5 算法得到一个 MD5 的值，生成证书编号，使用第三方机构的私钥对这个证书编号进行加密，并且会在证书中添加证书编号的生成算法。

image.png

浏览器内置的 CA 公钥可以解密 CA 私钥加密的证书，通过浏览器内置的 CA 证书的证书编号算法对服务端返回的证书编号进行验签。

image.png

第三方机构的公钥证书存哪里？

浏览器和操作系统都会维护一个权威的第三方机构列表（包括他们的公钥），因为客户端接收到的证书中有颁发机构，客户端就根据这个颁发机构在本地找到对应的公钥。这里的证书就是 HTTPS 中的数字证书，证书编号就是数字签名，而第三方机构就是数字证书的签发机构（CA）。

HTTPS 原理分析

HTTPS 证书的申请过程

  1. 服务器上生成 CSR 文件（证书申请文件，内容包括证书公钥、使用的 Hash 签名算法、申请的域名、公司名称、职位等信息）。

image.png

  1. 把 CSR 文件和其他可能的证件上传到 CA 认证机构，CA 机构收到证书申请之后，使用申请中的 Hash 算法，对部分内容进行摘要，然后使用 CA 机构自己的私钥对这段摘要信息进行签名（相当于证书的唯一编号）。

  2. 然后 CA 机构把签名过的证书通过邮件形式发送到申请者手中。

  3. 申请者收到证书之后部署到自己的 WEB 服务器中。

客户端请求交互流程

image.png

  1. 客户端发起请求（Client Hello 包）。

    1. 三次握手，建立 TCP 连接。
    2. 支持的协议版本(TLS/SSL)。
    3. 客户端生成的随机数 client.random，后续用于生成“对话密钥”。
    4. 客户端支持的加密算法。
    5. sessionid，用于保持同一个会话（如果客户端与服务器费尽周折建立了一个 HTTPS 链接，刚建完就断了，也太可惜）。

  2. 服务端收到请求，然后响应（Server Hello）。

    1. 确认加密通道协议版本。
    2. 服务端生成的随机数 server.random，后续用于生成“对话密钥”。
    3. 确认使用的加密算法（用于后续的握手消息进行签名防止篡改）。
    4. 服务器证书（CA 机构颁发给服务端的证书）。

  3. 客户端收到证书进行验证。

    1. 验证证书是否是上级 CA 签发的, 在验证证书的时候，浏览器会调用系统的证书管理器接口对证书路径中的所有证书一级一级的进行验证，只有路径中所有的证书都是受信的，整个验证的结果才是受信。
    2. 服务端返回的证书中会包含证书的有效期，可以通过失效日期来验证证书是否过期。
    3. 验证证书是否被吊销了。
    4. 前面我们知道 CA 机构在签发证书的时候，都会使用自己的私钥对证书进行签名，证书里的签名算法字段 sha256RSA 表示 CA 机构使用 sha256 对证书进行摘要，然后使用 RSA 算法对摘要进行私钥签名，而我们也知道 RSA 算法中，使用私钥签名之后，只有公钥才能进行验签。
    5. 浏览器使用内置在操作系统上的 CA 机构的公钥对服务器的证书进行验签，确定这个证书是不是由正规的机构颁发。验签之后得知 CA 机构使用 sha256 进行证书摘要，然后客户端再使用 sha256 对证书内容进行一次摘要，如果得到的值和服务端返回的证书验签之后的摘要相同，表示证书没有被修改过。
    6. 验证通过后，就会显示绿色的安全字样。
    7. 客户端生成随机数，验证通过之后，客户端会生成一个随机数 pre-master secret，客户端根据之前的：Client.random + sever.random + pre-master 生成对称密钥然后使用。
    8. 证书中的公钥进行加密，同时利用前面协商好的 HASH 算法，把握手消息取 HASH 值，然后用随机数加密 “握手消息+握手消息 HASH 值(签名)” 并一起发送给服务端（在这里之所以要取握手消息的 HASH 值，主要是把握手消息做一个签名，用于验证握手消息在传输过程中没有被篡改过）。

  4. 服务端接收随机数。

    1. 服务端收到客户端的加密数据以后，用自己的私钥对密文进行解密，然后得到client.random/server.random/pre-master secret，HASH 值，并与传过来的 HASH 值做对比确认是否一致。
    2. 然后用随机密码加密一段握手消息（握手消息+握手消息的 HASH 值 ）给客户端。

  5. 客户端接收消息。

    1. 客户端用随机数解密并计算握手消息的 HASH，如果与服务端发来的 HASH 一致，此时握手过程结束。
    2. 之后所有的通信数据将由之前交互过程中生成的 pre master secret/client.random/server.random 通过算法得出 session Key，作为后续交互过程中的对称密钥。

HTTPS 应用实战

接下来，为了让大家更好的理解 HTTPS 的原理，我们基于 Nginx 配置一个 HTTPS 的证书。

在生产环境中的 SSL 证书都需要通过第三方认证机构购买，分为专业版 OV 证书（浏览器地址栏上不显示企业名称）和高级版 EV（可以显示企业名称）证书，证书所保护的域名数不同也会影响价格（比如只对 www 认证和通配 *认证，价格是不一样的），且不支持三级域名。

红色代表证书过期或者无效，如果是黄色的话代表网站有部分连接使用的仍然是 HTTP 协议。如果大家自己买了域名的话，可以在阿里云上申请一个免费的证书来使用，我们为了演示证书的申请过程，直接使用 openssl，自己作为证书颁发机构来制作证书，但是这个证书是不受信任的，所以到时候演示的结果浏览器会提示证书不受信的错误。

证书安装过程

生成服务器证书的申请文件和私钥文件

在 nginx 的 conf 目录下创建 cert 文件夹，在该文件夹中生成公私钥。

  1. openssl req -nodes -newkey rsa:2048 -out myreq.csr -keyout privatekey.key
  • req：表示发出一个申请数字证书的请求。
  • rsa:2048：表示加密算法以及长度。
  • out：输出一个请求文件。
  • keyout：生成私钥。
  • myreq.csr：证书签名请求，这个并不是一个证书，而是向权威机构获取签名证书的申请，它的主要内容是一个公钥。
  • privatekey.key：与公钥相匹配的私钥。

CSR（证书请求文件）用来向 CA 机构申请的文件，一般以 CSR 结尾，包含申请证书所需要的相关信息，其中最重要的是域名，填写的域名必须是你要 HTTPS 方式访问的那个域名。

KEY 文件是对应 Server 端的私钥，这个文件很重要，如果这个 KEY 文件丢了，是无法找回的，因为 KEY 生成的过程是不可逆的，即使填写的过程都一样，生成的 KEY 也是不同的，它具有随机性。

运行这个命令以后，需要输入很多信息。

image.png

模拟 CA 机构制作 CA 机构证书

CA 机构有自己的公私钥，CA 会使用自己的公私钥对证书申请者提交的公钥进行加密。所以为了模拟 CA 机构的工作流程，需要先创建一个 CA 的证书。

openssl 的配置文件：/etc/pki/tls/openssl.cnf。

以下是 openssl CA 的默认配置，我们需要配置 CA 的证书，就需要在指定的目录下创建对应的文件。

image.png

  1. 创建所需要的文件
  1. # 生成证书索引数据库文件
  2. touch /etc/pki/CA/index.txt
  3. # 指定第一个颁发证书的序列号,必须是两位十六进制数，99之后是9A
  4. echo 01 > /etc/pki/CA/serial
  1. CA 自签证书-生成私钥
  1. cd /etc/pki/CA/
  2. openssl genrsa -out /etc/pki/CA/private/cakey.pem 2048
  1. 生成自签名证书
  1. openssl req -new -x509 –key /etc/pki/CA/private/cakey.pem -days 365 -out /etc/pki/CA/cacert.pem

提示输入国家，省，市，公司名称，部门名称，CA 主机名（颁发者名称）

  1. 颁发证书
  1. openssl ca -policy policy_anything -in myreq.csr -out mycert.crt -days 365
  • policy policy_anything：policy 参数允许签名的 CA 和网站证书可以有不同的国家、地名等信息。
  • out：CA 颁发的证书文件。
  • days：证书有效期

Nginx 配置 HTTPS

在 nginx.conf 中配置 server 段， 将证书 mycert.csr 和私钥 privatekey.key 添加进去。

  1. server {
  2.     listen 443 ssl; 
  3.     ssl on;
  4.     ssl_certificate cert/mycert.crt;
  5.     ssl_certificate_key cert/privatekey.key;
  6.     ssl_session_cache shared:SSL:1m;
  7.     ssl_session_timeout 5m;
  8.     ssl_ciphers HIGH:!aNULL:!MD5;
  9.     ssl_prefer_server_ciphers on;
  10.     location / {
  11.         root html;
  12.         index index.html index.htm;
  13.     }
  14. }

疑问

为什么证书一下是以 pem 结尾，一下又是以 crt 结尾，一下又是 key 结尾。到底是什么意思？

其实，x.509 标准的证书，有两种编码格式，一种是 PEM、一种是 DER，但实际上我们在创建证书和私钥的时候，并不一定要以 PEM 或者 DER 作为扩展名。比如证书的表示方式有：PEM、DER、CRT、CER，私钥或者公钥的表示方式有：PEM、DER、KEY，只是对应的编码格式不同而已。

Nginx 添加 HTTPS 支持

要给已经安装好的 Nginx 添加证书支持，需要按照以下步骤来进行：

  1. /data/program/nginx/sbin/nginx -V 查看之前 nginx 编译安装了哪些模块，避免遗漏掉一些模块配置导致出现问题。
  2. cd /data/program/nginx-1.11 进入之前下载的 Nginx 源码包目录中。
  3. ./configure --prefix=/data/program/nginx --with-http_stub_status_module --with-http_ssl_module 重新编译，添加 ssl 模块支持。
  4. make 执行 make 命令，千万不能执行 make install，不然会把之前已经安装的 Nginx 覆盖掉。
  5. cp /data/program/nginx/sbin/nginx /data/program/nginx/sbin/nginx.bak 备份原来的启动脚本。
  6. cp objs/nginx /data/program/nginx/sbin/ 替换 Nginx 的二进制脚本。
  7. /data/program/nginx/sbin/nginx -V 再次验证是否把需要的模块编译进去了。

转载：咕泡学习资料
参考：

  1. 重点问题之 HTTPS 和 TCP 协议三次握手全面解析
  2. HTTP协议-19.对称加密与非对称加密、数字签名与证书

作者：殷建卫 链接：https://www.yuque.com/yinjianwei/vyrvkf/oga26b 来源：殷建卫 - 架构笔记 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。