假设我们有 1000 万个整数数据,每个数据占 8 个字节,如何设计数据结构和算法,快速判断某个整数是否出现在这 1000 万数据中? 我们希望这个功能不要占用太多的内存空间,最多不要超过 100MB,你会怎么做呢

1. 算法思想

二分查找针对的是一个有序的数据集合,查找思想有点类似分治思想。每次都通过跟区间的中间元素对比,将待查找的区间缩小为之前的一半,直到找到要查找的元素,或者区间被缩小为 0。

非递归代码实现:

  1. public int bsearch(int[] a, int n, int value) {
  2. int low = 0;
  3. int high = n - 1;
  4. while (low <= high) {
  5. // low+(high-low)/2, mid=(low+high)/2 这种写法是有问题的。因为如果 low 和 high 比较大的话,两者之和就有可能会溢出
  6. int mid = low + ((high - low) >> 1);
  7. if (a[mid] == value) {
  8. return mid;
  9. } else if (a[mid] < value) {
  10. low = mid + 1;
  11. } else {
  12. high = mid - 1;
  13. }
  14. }
  15. return -1;
  16. }

递归代码实现:

  1. // 二分查找的递归实现
  2. public int bsearch(int[] a, int n, int val) {
  3. return bsearchInternally(a, 0, n - 1, val);
  4. }
  5. private int bsearchInternally(int[] a, int low, int high, int value) {
  6. if (low > high) return -1;
  7. int mid = low + ((high - low) >> 1);
  8. if (a[mid] == value) {
  9. return mid;
  10. } else if (a[mid] < value) {
  11. return bsearchInternally(a, mid+1, high, value);
  12. } else {
  13. return bsearchInternally(a, low, mid-1, value);
  14. }
  15. }

2. 局限性

  • 二分查找依赖的是顺序表结构,简单点说就是数组

  • 二分查找针对的是有序数据。

  • 数据量太小不适合二分查找,数据量太大也不适合二分查找

3. 问题解答

我们的内存限制是 100MB,每个数据大小是 8 字节,最简单的办法就是将数据存储在数组中,内存占用差不多是 80MB,符合内存的限制。借助今天讲的内容,我们可以先对这 1000 万数据从小到大排序,然后再利用二分查找算法,就可以快速地查找想要的数据了。

看起来这个问题并不难,很轻松就能解决。实际上,它暗藏了“玄机”。如果你对数据结构和算法有一定了解,知道散列表、二叉树这些支持快速查找的动态数据结构。你可能会觉得,用散列表二叉树也可以解决这个问题。实际上是不行的。虽然大部分情况下,用二分查找可以解决的问题,用散列表、二叉树都可以解决。但是,我们后面会讲,不管是散列表还是二叉树,都会需要比较多的额外的内存空间。如果用散列表或者二叉树来存储这 1000 万的数据,用 100MB 的内存肯定是存不下的。而二分查找底层依赖的是数组,除了数据本身之外,不需要额外存储其他信息,是最省内存空间的存储方式,所以刚好能在限定的内存大小下解决这个问题。

4. 变形二分

二分查找虽然原理极其简单,但是想要写出没有 Bug 的二分查找并不容易。唐纳德·克努特(Donald E.Knuth)在《计算机程序设计艺术》的第 3 卷《排序和查找》中说到:“尽管第一个二分查找算法于 1946 年出现,然而第一个完全正确的二分查找算法实现直到 1962 年才出现。”

比如看以下几个变形题,就会发现没那么简单:
4221d02a2e88e9053085920f13f9ce36.jpg

变形1、查找第一个值等于给定值的元素

503c572dd0f9d734b55f1bd12765c4f8.jpg

  1. public int bsearch(int[] a, int n, int value) {
  2. int low = 0;
  3. int high = n - 1;
  4. while (low <= high) {
  5. int mid = low + ((high - low) >> 1);
  6. if (a[mid] > value) {
  7. high = mid - 1;
  8. } else if (a[mid] < value) {
  9. low = mid + 1;
  10. } else {
  11. // 如果 mid 等于 0,那这个元素已经是数组的第一个元素,那它肯定是我们要找的;
  12. // 如果 mid 不等于 0,但 a[mid]的前一个元素 a[mid-1]不等于 value,
  13. // 那也说明 a[mid]就是我们要找的第一个值等于给定值的元素。
  14. // 如果经过检查之后发现 a[mid]前面的一个元素 a[mid-1]也等于 value,
  15. // 那说明此时的 a[mid]肯定不是我们要查找的第一个值等于给定值的元素。
  16. // 那我们就更新 high=mid-1,因为要找的元素肯定出现在[low, mid-1]之间。
  17. if ((mid == 0) || (a[mid - 1] != value)) return mid;
  18. else high = mid - 1;
  19. }
  20. }
  21. return -1;
  22. }

变形2:查找最后一个值等于给定值的元素

  1. public int bsearch(int[] a, int n, int value) {
  2. int low = 0;
  3. int high = n - 1;
  4. while (low <= high) {
  5. int mid = low + ((high - low) >> 1);
  6. if (a[mid] > value) {
  7. high = mid - 1;
  8. } else if (a[mid] < value) {
  9. low = mid + 1;
  10. } else {
  11. // 如果 a[mid]这个元素已经是数组中的最后一个元素了,那它肯定是我们要找的;
  12. // 如果 a[mid]的后一个元素 a[mid+1]不等于 value,那也说明 a[mid]就是我们要找的最后一个值等于给定值的元素。
  13. // 如果我们经过检查之后,发现 a[mid]后面的一个元素 a[mid+1]也等于 value,
  14. // 那说明当前的这个 a[mid]并不是最后一个值等于给定值的元素。我们就更新 low=mid+1,
  15. // 因为要找的元素肯定出现在[mid+1, high]之间。
  16. if ((mid == n - 1) || (a[mid + 1] != value)) return mid;
  17. else low = mid + 1;
  18. }
  19. }
  20. return -1;
  21. }

变形3:查找第一个大于等于给定值的元素

  1. public int bsearch(int[] a, int n, int value) {
  2. int low = 0;
  3. int high = n - 1;
  4. while (low <= high) {
  5. int mid = low + ((high - low) >> 1);
  6. if (a[mid] >= value) {
  7. // a[mid]大于等于给定值 value 的情况,我们要先看下这个 a[mid]是不是我们要找的第一个值大于等于给定值的元素。
  8. // 如果 a[mid]前面已经没有元素,或者前面一个元素小于要查找的值 value,那 a[mid]就是我们要找的元素
  9. // 如果 a[mid-1]也大于等于要查找的值 value,那说明要查找的元素在[low, mid-1]之间,
  10. // 所以,我们将 high 更新为 mid-1。
  11. if ((mid == 0) || (a[mid - 1] < value)) return mid;
  12. else high = mid - 1;
  13. } else {
  14. low = mid + 1;
  15. }
  16. }
  17. return -1;
  18. }

变形4:查找最后一个小于等于给定值的元素

  1. public int bsearch7(int[] a, int n, int value) {
  2. int low = 0;
  3. int high = n - 1;
  4. while (low <= high) {
  5. int mid = low + ((high - low) >> 1);
  6. if (a[mid] > value) {
  7. high = mid - 1;
  8. } else {
  9. if ((mid == n - 1) || (a[mid + 1] > value)) return mid;
  10. else low = mid + 1;
  11. }
  12. }
  13. return -1;
  14. }

5. 变形二分的应用

假设我们有 12 万条这样的 IP 区间与归属地的对应关系,如何快速定位出一个 IP 地址的归属地呢?

当我们想要查询 202.102.133.13 这个 IP 地址的归属地时,我们就在地址库中搜索,发现这个 IP 地址落在[202.102.133.0, 202.102.133.255]这个地址范围内,那我们就可以将这个 IP 地址范围对应的归属地“山东东营市”显示给用户了。

  1. [202.102.133.0, 202.102.133.255] 山东东营市
  2. [202.102.135.0, 202.102.136.255] 山东烟台
  3. [202.102.156.34, 202.102.157.255] 山东青岛
  4. [202.102.48.0, 202.102.48.255] 江苏宿迁
  5. [202.102.49.15, 202.102.51.251] 江苏泰州
  6. [202.102.56.0, 202.102.56.255] 江苏连云港

========> 这样不就解决了吗!

如果 IP 区间与归属地的对应关系不经常更新,我们可以先预处理这 12 万条数据,让其按照起始 IP 从小到大排序。如何来排序呢?我们知道,IP 地址可以转化为 32 位的整型数。所以,我们可以将起始地址,按照对应的整型值的大小关系,从小到大进行排序。

然后,这个问题就可以转化为我刚讲的第四种变形问题“在有序数组中,查找最后一个小于等于某个给定值的元素”了。

当我们要查询某个 IP 归属地时,我们可以先通过二分查找,找到最后一个起始 IP 小于等于这个 IP 的 IP 区间,然后,检查这个 IP 是否在这个 IP 区间内,如果在,我们就取出对应的归属地显示;如果不在,就返回未查找到。