什么是哈希算法

  • 将任意长度的二进制值串映射为固定长度的二进制值串，这个映射的规则就是哈希算法
  • 通过原始数据映射之后得到的二进制值串就是哈希值

设计哈希算法的条件

  • 从哈希值不能反向推导出原始数据（所以哈希算法也叫单向哈希算法）；
  • 对输入数据非常敏感，哪怕原始数据只修改了一个 Bit，最后得到的哈希值也大不相同；
  • 散列冲突的概率要很小，对于不同的原始数据，哈希值相同的概率非常小；

  • 哈希算法的执行效率要尽量高效，针对较长的文本，也能快速地计算出哈希值。

    哈希算法的应用

    安全加密

  • 最常用于加密的哈希算法是 MD5（MD5 Message-Digest Algorithm，MD5 消息摘要算法）和 SHA（Secure Hash Algorithm，安全散列算法）。

  • 其他加密算法，比如 DES（Data Encryption Standard，数据加密标准）、AES（Advanced Encryption Standard，高级加密标准）。

为什么哈希算法无法做到零冲突？

  • 基于组合数学中一个非常基础的理论，鸽巢原理（也叫抽屉原理）。这个原理本身很简单，它是说，如果有 10 个鸽巢，有 11 只鸽子，那肯定有 1 个鸽巢中的鸽子数量多于 1 个，换句话说就是，肯定有 2 只鸽子在 1 个鸽巢内。

  • 哈希算法产生的哈希值的长度是固定且有限的。比如前面举的 MD5 的例子，哈希值是固定的 128 位二进制串，能表示的数据是有限的，最多能表示 2^128 个数据，而我们要哈希的数据是无穷的。基于鸽巢原理，如果我们对 2^128+1 个数据求哈希值，就必然会存在哈希值相同的情况。

    唯一标识

    —如果要在海量的图库中，搜索一张图是否存在，我们不能单纯地用图片的元信息（比如图片名称）来比对，因为有可能存在名称相同但图片内容不同，或者名称不同图片内容相同的情况。那我们该如何搜索呢？

  • 我们可以给每一个图片取一个唯一标识，或者说信息摘要。

    • 比如，我们可以从图片的二进制码串开头取 100 个字节，从中间取 100 个字节，从最后再取 100 个字节，然后将这 300 个字节放到一块，通过哈希算法（比如 MD5），得到一个哈希字符串，用它作为图片的唯一标识

      数据校验

      —网络传输是不安全的，下载的文件块有可能是被宿主机器恶意修改过的，又或者下载过程中出现了错误，所以下载的文件块可能不是完整的。如果我们没有能力检测这种恶意修改或者文件下载出错，就会导致最终合并后的电影无法观看，甚至导致电脑中毒。现在的问题是，如何来校验文件块的安全、正确、完整呢？

  • 通过哈希算法，对 100 个文件块分别取哈希值

  • 对比哈希值是否相同

    注：字典攻击

    什么是字典攻击

  • 维护一个常用密码的字典表，把字典中的每个密码用哈希算法计算哈希值，然后拿哈希值跟脱库后的密文比对

  • 如果相同，基本上就可以认为，这个加密之后的密码对应的明文就是字典中的这个密码。

如何解决

  • 我们可以引入一个盐（salt），跟用户的密码组合在一起，增加密码的复杂度。我们拿组合之后的字符串来做哈希算法加密，将它存储到数据库中，进一步增加破解的难度

负载均衡

数据分片

分布式存储