排序对于任何一个程序员来说,可能都不陌生。你学习的第一个算法,可能就是排序。大部分编程语言中,也都提供了排序函数。在平常的项目中,我们也经常会用到排序。排序非常重要,所以值得我们花费时间去研究。

排序算法有很多,有些可能你连名字都没有听过,比如猴子排序、睡眠排序、面条排序等。当然,这篇文章也只介绍一些经典的排序算法:冒泡排序、插入排序、选择排序、归并排序、快速排序、计数排序、基数排序、桶排序。按照时间复杂度可以把他们分为三类。

排序算法 时间复杂度 是否基于比较
冒泡、插入、选择 排序 - 图1#card=math&code=O%28n%5E2%29&id=VL5Wp)
快排、归并 排序 - 图2#card=math&code=O%28nlogn%29&id=oIIEl)
桶、计数、基数 排序 - 图3#card=math&code=O%28n%29&id=SgeSm) ×

带着问题去学习,是最有效的学习方法。有这样一个问题:插入排序和冒泡排序的时间复杂度相同,都是 排序 - 图4#card=math&code=O%28n%5E2%29&id=eCEJG),在实际的开发中,为什么我们更倾向于使用插入排序算法而不是冒泡排序算法?

如何分析一个排序算法?

学习排序算法,除了学习它的算法原理、代码实现之外,更重要的是要学会如何评价、分析一个排序算法。分析一个排序算法,可以从下面几个方面入手。

排序算法的执行效率

对于排序算法执行效率的分析,一般会从这几个方面来衡量:

1. 最好情况、最坏情况、平均情况时间复杂度

我们在分析排序算法的时间复杂度时,要分别给出最好情况、最坏情况、平均情况下的时间复杂度。除此之外,你还要说出最好、最坏时间复杂度对应的要排序的原始数据是什么样?

为什么要区分这三种时间复杂度?

第一,有些排序算法会区分,为了好对比,所以我们最好都做下区分;第二,对于要排序的数据,有的接近有序,有的完全无序。有序度不同的数据,对于排序的执行时间肯定是有影响的,我们要知道排序算法在不同数据下的性能表现。

2. 时间复杂度的系数、常数、低阶

时间复杂度反映的是数据规模 n 很大的时候的一个增长趋势,所以它表示的时候会忽略系数、常数、低阶。但是在实际的软件开发中,我们排序的可能是 10个、100个、1000个这样规模很小的数据,所以,在对同一阶时间复杂度的排序算法性能对比的时候,我们就要把系数、常数、低阶也考虑进来。

3. 比较次数和交换(或移动)次数

对于基于比较的排序算法,其执行过程中会涉及两种操作,一种是元素比较大小,另一种是元素交换或移动。所以,如果我们在分析排序算法的执行效率时,应该把比较次数和交换(或移动)次数也考虑进去。

排序算法的内存消耗

算法的内存消耗可以通过空间复杂度来衡量,排序算法也不例外。针对排序算法的空间复杂度,我们还引入了一个新的概念,原地排序(Sorted in place)。原地排序算法,就是特指空间复杂度是 O(1) 的排序算法。

排序算法的稳定性

仅仅用执行效率和内存消耗来衡量排序算法的好坏是不够的。针对排序算法,还有一个重要的度量指标,稳定性。这个概念是说,如果待排序的序列中存在值相等的元素,经过排序之后,相等元素之间原有的先后顺序不变。

这里通过一个例子解释一下。比如我们有一组数据 2,9,3,4,8,3,按照大小排序之后就是 2,3,3,4,8,9。

这组数据有两个 3。经过某种排序算法排序之后,如果两个 3 的前后顺序没有改变,那我们就把这种排序算法叫做稳定的排序算法;如果前端顺序发生变化,那对应的排序算法就叫做不稳定的排序算法。

你可能会问,两个 3 哪个在前,那个在后有什么关系,稳不稳定又有什么关系?为什么要注意排序算法的稳定性?

很多数据结构和算法的课程,在讲排序的时候,都是用整数举例,但在真正的软件开发中,我们要排序的往往不是单纯的整数,而是一组对象,我们需要按照对象的某个 key 来排序。

比如,我们要给电商交易系统中的 “订单” 排序。订单有两个属性,一个是下单时间,一个是订单金额。如果我们现在有 10 万条订单数据,我们希望按照金额从小到大对订单数据排序。对于金额相同的订单,我们希望按照下单时间从早到晚有序。对于这样一个排序需求,我们应该怎么来做?

最先想到的方法就是先按照金额对订单数据进行排序,然后,再遍历排序之后的订单数据,对于每个金额相同的小区间再按照下单时间排序。这种排序思路理解起来并不难,但是实现起来会很复杂。

借助稳定排序算法,这个问题可以非常简洁地解决。解决思路是这样:先按照下单时间给订单排序,排序完成后使用稳定排序算法,按照订单金额重新排序。两遍排序之后,我们得到的订单数据就是按照金额从小到大排序,金额相同的订单也是按照下单时间从早到晚排序的。

稳定排序算法可以保持金额相同的两个对象,在排序之后的前后顺序不变。第一个排序之后,所有的订单按照下单时间从早到晚有序了。第二次排序中,我们使用的是稳定排序算法,所以经过二次排序之后,相同金额的订单仍然保持下单时间从早到晚有序。

冒泡排序(Bubble Sort)

冒泡排序只会操作相邻的两个数据。每次冒泡操作都会对相邻的两个元素进行比较,看是否满足大小关系要求。如果不满足就让元素互换。一次冒泡会让至少一个元素移动到它应该在的位置,重复 n 次,就完成了 n 个数据的排序工作。

我们用一个例子来看下冒泡排序的整个过程。我们要对一组数据 4,5,6,3,2,1,从小到大进行排序。

第一次冒泡操作的详细过程如下:

  1. 4 5 6 3 2 1
  2. 4 5 6 3 2 1
  3. 4 5 6 3 2 1
  4. 4 5 3 6 2 1
  5. 4 5 3 2 6 1
  6. 4 5 3 2 1 6

可以看出,经过一次冒泡操作之后,6 这个元素已经存储在正确的位置上。要想完成所有数据的排序,只要进行 6 次这样的冒泡操作就行。

冒泡次数 冒泡后结果
初始状态 4 5 6 3 2 1
第 1 次冒泡 4 5 3 2 1 6
第 2 次冒泡 4 3 2 1 5 6
第 3 次冒泡 3 2 1 4 5 6
第 4 次冒泡 2 1 3 4 5 6
第 5 次冒泡 1 2 3 4 5 6
第 6 次冒泡 1 2 3 4 5 6

实际上,上面的冒泡过程还可以优化。当某次冒泡操作已经没有数据交换时,说明已经达到完全有序,不用再继续执行后续的冒泡操作。

冒泡次数 冒泡后结果 是否有数据交换
初始状态 3 5 4 1 2 6
第 1 次冒泡 3 4 1 2 5 6
第 2 次冒泡 3 1 2 4 5 6
第 3 次冒泡 1 2 3 4 5 6
第 4 次冒泡 1 2 3 4 5 6 无,结束排序操作

冒泡排序算法的原理比较容易理解,具体代码如下:

  1. function bubbleSort (arr, n) {
  2. if (n <= 1) return;
  3. for (let i = 0; i < n; i++) {
  4. let flag = false;
  5. for (let j = 0; j < n - i - 1; j++) {
  6. if (arr[j] > arr[j + 1]) {
  7. const tmp = arr[j];
  8. arr[j] = arr[j + 1];
  9. arr[j + 1] = tmp;
  10. flag = true;
  11. }
  12. }
  13. if (!flag) break;
  14. }
  15. }

结合刚才分析排序算法的三个方面,如下分析:

1. 冒泡排序是原地排序算法。

冒泡的过程只涉及相邻数据的交换操作,只需要常量级的临时空间,所以它的时间复杂度为 O(1),是一个原地排序算法。

2. 冒泡排序是稳定排序算法。

冒泡排序中,只要交换才可以改变两个元素的前后顺序。为了保证冒泡排序算法的稳定性,当有相邻的两个元素大小相等的时候,我们不做交换,相同大小的数据在排序前后不会改变顺序,所以冒泡排序是稳定的排序算法。

3. 冒泡排序的时间复杂度。

最好情况下,要排序的数据已经是有序了,我们只需要进行一次冒泡操作,就可以结束,所以最好情况时间复杂度是 O(n)。

最坏情况是,要排序的数据刚好是倒序排列,我们需要进行 n 次冒泡操作,所以最坏情况时间复杂度是 排序 - 图5#card=math&code=O%28n%5E2%29&id=YbwkW)。

最好、最坏情况下的时间复杂度很容易分析,那平均情况下的时间复杂度是多少?平均时间复杂度就是加权平均期望时间复杂度,分析的时候要结合概率论的知识。

对于包含 n 个数据的数组,这 n 个数据就是 n! 种排列方式。不同的排列方式,冒泡排序执行的时间肯定是不同的。比如我们前面的例子,其中一个要进行 6 次冒泡,而另一个只需要四次。如果用概率论方法定量分析平均时间复杂度,涉及的数学推理和计算就会很复杂。这里其实还有一种思路,就是通过 “有序度” 和 “逆序度” 这两个概念来进行分析。

有序度是数组中具有有序关系的元素对的个数。有序元素对用数学表达式表示就是这样:

  1. 有序元素对:a[i] <= a[j], 如果 i < j

比如 2, 4, 3, 1, 5, 6 这组数据的有序度为 11,因为其有序元素对有 11 个,分别是:

  1. (2, 4)、(2, 3)、(2, 5)、(2, 6)
  2. (4, 5)、(4, 6)、(3, 5)、(3, 6)
  3. (1, 5)、(1, 6)、(5, 6)

同理,对于一个倒序排列数组,比如 6,5,4,3,2, 1,有序度为 0;对于一个完全有序的数组,比如 1,2,3,4,5,6,有序度就是 n * (n - 1) / 2,也就是 15。我们把这种完全有序的数组的有序度叫做满有序度。

等差数列公式 :首项加末项的和乘项数除以二 ,这里的项数是n,首项是n-1,末项是0,所以:n(n+1+0)/2

逆序度的定义正好跟有序度相反(默认从大到小为有序)。

  1. 有序元素对:a[i] > a[j], 如果 i < j

关于这三个概念,我们还可以得到一个公式:逆序度 = 满有序度 - 有序度。我们排序的过程就是一种增加有序度,减少逆序度的过程,最后达到满有序度,就说明排序完成了。

还是拿前面的例子来说明。要排序的数组的初始状态是 4,5,6,3,2,1,其中,有序元素对有 (4, 5)、(4, 6)、(5, 6),所以有序度是 3。 n = 6,所以排序完成之后终态的有序度为 n * (n - 1) / 2 = 15。

冒泡次数 冒泡后结果 有序度
初始状态 4 5 6 3 2 1 3
第 1 次冒泡 4 5 3 2 1 6 6
第 2 次冒泡 4 3 2 1 5 6 9
第 3 次冒泡 3 2 1 4 5 6 12
第 4 次冒泡 2 1 3 4 5 6 15
第 5 次冒泡 1 2 3 4 5 6 15

冒泡排序包含两个操作原子,比较和交换。每交换一次,有序度就加 1。不管算法怎么改进,交换次数总是确定的,即为逆序度,也就是 n * (n - 1) / 2 - 初始有序度。此例中就是 15 - 3 = 12,要进行 12 次交换操作。

对于包含 n 个数据的数组进行冒泡排序,平均次数是多少?最坏情况下,初始状态的有序度为 0,所以要进行 n (n - 1) / 2 次交换。最好情况下,初始状态的有序度是 n (n - 1) / 2,就不需要进行交换。我们可以取个中间值 n * (n - 1) / 4,来表示初始有序度既不是很高也不是很低的平均情况。

换句话来说,平均情况下,需要 n * (n - 1) / 4 次交换操作,比较操作肯定比交换操作多,而复杂度的上限是 排序 - 图6#card=math&code=O%28n%5E2%29&id=eu1E6),所以平均情况下的时间复杂度就是 排序 - 图7#card=math&code=O%28n%5E2%29&id=gxi9i)。

夹挤定理,又称夹逼定理、三明治定理,是有关函数极限的定理。它指出若有两个函数在某点的极限相同,且有第三个函数的值在这两个函数之间,则第三个函数在该点的极限也相同。

插入排序(Insertion Sort)

先来看一个问题。一个有序的数组,我们往里面添加一个新的数据后,如何持续保持数据有序?很简单,我们只要遍历数组,找到数据应该插入的位置将其插入即可。

insertion_sort.png

这是一个动态排序的过程,即动态地往有序集合中添加数据,我们可以通过这种方法保持集合中的数据一直有序。而对于一组静态数据,我们也可以借鉴上面讲的插入方法,来进行排序,这就是插入排序算法。

插入排序是如何借助上面的思想来实现排序?

首先,我们将数组中的数据分为两个区间,已排序区间和未排序区间。初始已排序区间只有一个元素,就是数组的第一个元素。插入算法的核心思想是取未排序区间中的元素,在已排序区间中找到合适的插入位置将其插入,并保证已排序区间数据一直有序。重复这个过程,直到未排序区间中元素为空,算法结束。

如果所示,要排序的数据是 4,5,6,1,3,2,其中左侧为已排序区间,右侧是未排序区间。

insertion_sort02.png

插入排序也包含两种操作,一种是元素的比较,一种是元素的移动。当我们需要将一个数据 a 插入到已排序区间时,需要拿 a 与已排序区间的元素依次比较大小,找到合适的插入位置。找到插入点之后,我们还需要将插入点之后的元素往后移动一位,这样才能空出位置给元素 a 插入。

对于不同的查找插入点方法(从头到尾、从尾到头),元素的比较次数是有区别的。但对于一个给定的初始序列,移动操作的次数总是固定的,就等于逆序度。

为什么说移动次数等于逆序度?下面有个图,你一看你明白。首先满序度是 n * (n - 1) / 2 = 15,初始序列的有序度是 5,所以逆序度是 10。插入排序中,数据移动的个数总和也等于 10 = 3 + 3 + 4。

insertion_sort03.png

插入排序的原理也很简单,下面是代码实现。

  1. function insertionSort (arr, n) {
  2. if (n <= 1) return;
  3. for (let i = 1; i < n; i++) {
  4. const tmp = arr[i];
  5. let j = i - 1;
  6. for (; j >= 0; j--) {
  7. if (arr[j] > tmp) {
  8. arr[j + 1] = arr[j];
  9. } else {
  10. break;
  11. }
  12. }
  13. arr[j + 1] = tmp;
  14. }
  15. }

现在,我们再来深入分析插入排序算法。

1. 插入排序是原地排序算法。

从实现过程可以很明显地看出,插入排序算法的运行并不需要额外的存储空间,所以空间复杂度是 O(1),也就是说,这是一个原地排序算法。

2. 插入排序是稳定排序算法。

在插入排序中,对于值相同的元素,我们可以选择将后面出现的元素,插入到前面出现元素的后面,这样就可以保持原有的前后顺序不变,所以插入排序是稳定的排序算法。

3. 插入排序的时间复杂度。

如果要排序的数据已经是有序的,我们并不需要搬移任何数据。如果我们从尾到头在有序数组里面查找元素位置,每次只需要比较一个数据就能确定插入的位置。所以这种情况下,最好时间复杂度是 O(n)。注意,这里是从尾到头遍历已经有序的数据。

如果数据是倒序的,每次插入都相当于在数据的第一个位置插入新的数据,所以需要移动大量的数据,所以最坏情况时间复杂度为 排序 - 图11#card=math&code=O%28n%5E2%29&id=hVTeu)。

在数组中插入一个数据的平均时间复杂度是 O(n)。所以,对于插入排序来说,每次插入操作都相当于在数组中插入一个数据,循环执行 n 次插入操作,所以平均时间复杂度为 排序 - 图12#card=math&code=O%28n%5E2%29&id=gPsGb)。

选择排序(Selection Sort)

选择排序算法的实现思路和插入排序类似,也分已排序区间和未排序区间。但是选择排序每次会从未排序区间找到最小的元素,将其放到已排序区间的末尾。

selection_sort.png

选择排序代码实现:

  1. function selectionSort (arr, n) {
  2. if (n <= 1) return;
  3. for (let i = 0; i < n - 1; i++) {
  4. let minIdx = i;
  5. for (let j = i + 1; j < n; j++) {
  6. if (arr[j] < arr[minIdx]) {
  7. minIdx = j;
  8. }
  9. }
  10. const tmp = arr[i];
  11. arr[i] = arr[minIdx];
  12. arr[minIdx] = tmp;
  13. }
  14. }

同样,这里也对选择排序算法进行分析。

1. 选择排序是原地排序算法。

选择排序空间复杂度为 O(1),是一种原地排序算法。

2. 选择排序不是稳定排序算法。

选择排序每次都要找剩余未排序元素中的最小值,并和前面的元素交换位置,这样就破坏了稳定性。

比如 5,8,5,2,9 这样一组数据,使用选择排序算法来排序,第一次找到最小元素 2,与第一个 5 交换位置,那第一个 5 和中间的 5 的顺序就变了,所以就不稳定了。正因如此,相对于冒泡排序和插入排序,选择排序就稍微逊色。

3. 选择排序的时间复杂度。

选择排序的最好情况时间复杂度、最坏情况和平均时间复杂度都为 排序 - 图14#card=math&code=O%28n%5E2%29&id=HT8hB)。

不管原来的顺序是什么,都要从无序数组中找到最小值,而最小值只能通过全部比较一次才能得到。

归并排序(Merge Sort)

前面介绍了冒泡排序、插入排序、选择排序这三种排序算法,它们的时间复杂度都是 排序 - 图15#card=math&code=O%28n%5E2%29&id=jLRUk),比较高,适合小规模数据的排序。接下来介绍两种时间复杂度为 排序 - 图16#card=math&code=O%28nlogn%29&id=SgCYt) 的排序算法,归并排序和快速排序。这两种排序算法适合大规模的数据排序,比之前介绍的三种排序算法更常用。

归并排序和快速排序都用到了分治思想,非常巧妙。我们可以借鉴这个思想,来解决非排序的问题,比如如何在 排序 - 图17#card=math&code=O%28n%29&id=oF3NL) 的时间复杂度内查找一个无序数组中的第 K 大元素?

原理

归并排序的核心思想很简单。如果要排序一个数组,我们先把数组从中间分成前后两部分,然后对前后两部分分别排序,再将排好序的两部分合并在一起,这样整个数组就有序了。

merge_sort.png

归并排序使用的是分治思想。分治,即分而治之,就是将一个大问题分解为小的问题来解决。小的问题解决了,大问题就解决了。

从刚才的描述中,你有没有感觉到,分治思想跟我们前面讲的递归思想很像。的确是这样,分治算法一般都是用递归来实现的。分治是一种解决问题的处理思想,递归是一种编程技巧,这两者并不冲突。

那么归并排序是如何使用递归代码来实现的?

我们知道编写递归代码的技巧就是,分析出递推公式,然后找到终止条件,最后将递推公式翻译成递归代码。所以,要想写出递归排序的代码,我们要先写出归并排序的递推公式。

  1. // 递推公式
  2. merge_sort(p ... r) = merge(merge_sort(p ... q), merge_sort(q + 1 ... r));
  3. // 终止条件(不需要再分解):
  4. p >= r

merge_sort(p … r) 表示,给下标从 p 到 r 之间的数组排序。我们将这个排序问题转化为了两个子问题,merge_sort(p … q) 和 merge_sort(q+1 … r),其中下标 q 等于 p 和 r 的中间位置,也就是 (p+r)/2。当下标从 p 到 q 和从 q+1 到 r 这两个子数组都排好序之后,我们再将两个有序的子数组合并在一起,这样下标从 p 到 r 之间的数据就也排好序了。

有了递推公式,转换为代码就简单多了。

  1. const merge = (p, r, q) => {
  2. let i = p,
  3. j = q + 1,
  4. k = 0;
  5. const tmp = new Array(r - p + 1);
  6. while (i <= q && j <= r) {
  7. if (arr[i] <= arr[j]) {
  8. tmp[k++] = arr[i++];
  9. } else {
  10. tmp[k++] = arr[j++];
  11. }
  12. }
  13. let start = i,
  14. end = q;
  15. if (j <= r) {
  16. start = j;
  17. end = r;
  18. }
  19. while (start <= end) {
  20. tmp[k++] = arr[start++];
  21. }
  22. for (i = 0; i <= r - p; i++) {
  23. arr[p + i] = tmp[i];
  24. }
  25. }
  26. function mergeSort (arr, n) {
  27. const next = (arr, p, r) => {
  28. if (p >= r) return;
  29. const q = Math.floor(p + (r - p) / 2);
  30. next(arr, p, q);
  31. next(arr, q + 1, r);
  32. merge(p, r, q);
  33. }
  34. next(arr, 0, n - 1);
  35. }

你是否还记得利用哨兵简化编程的处理技巧?代码中的 merge 合并函数如果借助哨兵,代码还会简介很多。

性能分析

1. 归并排序是稳定的排序算法。

归并排序稳不稳定关键要看 merge 函数,也就是两个有序子数组合并成一个有序数组的那部分代码。

在合并的过程中,如果 A[p … q] 和 A[q + 1 … r] 之间有相同的元素,我们可以先把 A[p … q] 中的元素放入 tmp 数组中。这样就可以保证值相同的元素,在合并前后的顺序不变。所以,归并排序是一个稳定的排序算法。

2. 归并排序的时间复杂度。

归并排序涉及递归,时间复杂度的分析稍微有点复杂。正好可以借此机会,学习一下如何分析递归代码的时间复杂度。

递归的适用场景是,一个问题 a 可以分解为多个子问题 b、c,那求解问题 a 就可以分解为求解问题 b、c。问题 b、c 解决之后,我们再把 b、c 的结果合并为 a 的结果。

如果我们定义求解问题 a 的时间为 T(a),求解问题 b、c 的时间分别为 T(b) 和 T(c),那我们就可以得到这样的递推关系式:

  1. T(a) = T(b) + T(c) + k

其中 K 等于将两个子问题 b、c 的结果合并成问题 a 的结果所消耗的时间。

不仅递归求解的问题可以写成递推公式,递归代码的时间复杂度也可以写成递推公式。

套用上述公式,我们来分析一下归并排序的时间复杂度。

我们假设对 n 个元素进行归并排序需要的时间是 T(n),那分解为两个子数组排序的时间为 T(n / 2)。我们知道,merge() 函数合并两个有序子数组的时间复杂度是 O(n)。所以,套用前面的公式,归并排序的时间复杂度的计算公式就是:

T(1) = C; // n = 1 时,只需要常量级的执行时间,所以表示为 C。
T(n) = 2 * T(n / 2) + n; // n > 1

通过这个公式,如何求解 T(n)?我们可以进一步分解计算过程。

T(n) = 2 * T(n/2) + n
     = 2 * (2 * T(n / 4) + n / 2) + n = 4 * T(n / 4) + 2 * n
     = 4 * (2 * T(n / 8) + n / 4) + 2 * n = 8 * T(n / 8) + 3 * n
     = 8 * (2 * T(n / 16) + n / 8) + 3 * n = 16 * T(n / 16) + 4 * n
     ......
     = 2^k * T(n / 2^k) + k * n
     ......

通过这样一步步分解推导,我们可以得到 排序 - 图19%20%3D%202%5Ek%20*%20T(n%2F2%5Ek)%20%2B%20kn#card=math&code=T%28n%29%20%3D%202%5Ek%20%2A%20T%28n%2F2%5Ek%29%20%2B%20kn&id=JgsXj)。

排序 - 图20%20%3D%20T(1)#card=math&code=T%28n%2F2%5Ek%29%20%3D%20T%281%29&id=qWB7t) 时,也就是 排序 - 图21,我们得到 k = log2n。我们将 k 值代入上面的公式,得到 T(n) = Cn + nlog2n。如果我们用大 O 标记法来表示的话,T(n) 就等于 O(nlogn)。所以递归排序的时间复杂度是 O(nlogn)。

从们的原理分析可以看出,归并排序的执行效率与排序的原始数组的有序程序无关,所以其时间复杂度是非常稳定的,不管是最好情况、最坏情况还是平均情况,时间复杂度都为 O(nlogn)。

3. 归并排序的空间复杂度。

归并排序的时间复杂度任何情况下都是 O(nlogn),看起来非常优秀。但是,归并排序并没有像快排那样,应用广泛,因为它有一个致命的 “弱点”,归并排序不是原地排序算法。

这是因为归并排序的合并函数,在合并两个有序数组为一个有序数组时,需要借助额外的存储空间。那归并排序的空间复杂度是多少?

如果我们按照分析递归时间复杂度的方法,通过递归公式进行求解,那整个归并过程需要的时间复杂度就是 O(nlogn)。不过,类似分析时间复杂度那样来分析空间复杂度,这个思路并不对。

实际上,递归代码的空间复杂度并不能像时间复杂度那样累加。对于归并排序算法来说,尽管每次合并操作都需要申请额外的内存空间,但是在合并完成后,临时开辟的内存空间就被释放掉。在任意时刻,CPU 只会有一个函数在执行,也就会只有一个临时的内存空间在使用。临时内存空间最大也不会超过 n 个数据的大小,所以空间复杂度是 O(n)。

快速排序(Quick Sort)

原理

快速排序算法(QuickSort),我们习惯性把它简称为 “快排”。快排利用的也是分治思想。看起来,它有点像归并排序,但是思路完全不一样。后面会介绍两者区别。现在,我们先来看下快排的核心思想。

快排的核心思想:

如果要排序数组中下标从 p 到 r 之间的一组数据,我们选择 p 到 r 之间的任意一个数据作为 pivot (分区点)。

我们遍历 p 到 r 之间的数据,将小于 pivot 的放到左边,将大于 pivot 的放到右边,将 pivot 放到中间。经过这一步骤,数组 p 到 r 之间的数据就被分成了三个部分,前面 p 到 q - 1 之间都是小于 pivot 的,中间是 pivot,后面的 q + 1 到 r 之间是大于 pivot 的。

quick_sort.png

根据分治、递归的处理思想,我们可以用递归排序下标从 p 到 q - 1 之间的数据和下标从 q + 1 到 r 之间的数据,知道区间缩小为 1,就说明所有的数据都有序了。

如果我们用递归公式将上面的过程写出来,就是下面这样:

// 递归公式
quick_sort(p … r) = quick_sort(p … q-1) + quick_sort(q + 1 … r)

// 终止条件
p >= r

将递归公式转换为代码,代码如下:

function quickSort (arr, n) {
  const next = (arr, p, r) => {
    if (p >= r) return;

    const q = partition(arr, p, r);

    next(arr, p, q - 1);
    next(arr, q + 1, r);
  }

  next(arr, 0, n - 1);
}

归并排序中有一个 merge() 合并函数,这里有一个 partition() 分区函数。partition() 分区函数的功能就是随机选择一个元素作为 pivot(一般情况下,可以选择 p 到 r 区间的最后一个元素),然后对 A[p … r] 分区,函数返回 pivot 的下标。

如果我们不考虑空间消耗的话,partition() 分区函数可以写的很简单。我们申请两个临时数组 X 和 Y,遍历 A[p … r],将小于 pivot 的元素都拷贝到临时数组 X,将大于 pivot 的元素都拷贝到临时数据 Y,最后再将数组 X 和 数组 Y 中数据顺序拷贝到 A[P … r]。

quick_sort02.png

但是,如果按照这种思路实现,partition() 函数就需要很多额外的内存空间,所以快排就不是原地排序算法了。如果我们希望快排是原地排序算法,那它的空间复杂度必须是 O(1),那 partition() 分区函数就不能占用太多额外的内存空间,我们就需要在 A[p … r] 的原地完成分区操作。

原地分区函数的实现思路非常巧妙,代码如下:

const partition = (arr, p, r) => {
  const pivot = arr[r];
  let i = p;

  for (let j = p; j < r; j++) {
    if (arr[j] < pivot) {
      if (i == j) {
        i++;
      } else {
        const tmp = arr[i];
        arr[i++] = arr[j];
        arr[j] = tmp;
      }
    }
  }

  const tmp = arr[i];
  arr[i] = arr[r];
  arr[r] = tmp;

  return i;
}

这里的处理有点类似选择排序。我们通过游标 i 把 A[p … r - 1] 分成两部分。A[p … i - 1] 的元素都是小于 pivot 的,我们暂且叫它 “已处理区间”,A[i … r - 1] 是 “未处理区间”。我们每次都从未处理区间的 A[i … r - 1] 中取一个元素 A[j],与 pivot 对比,如果小于 pivot,则将其加入到已处理区间的尾部,也就是 A[i] 的位置。

因为分区的过程涉及交换操作,如果数组中有两个相同的元素,比如序列 6,8,7,6,3,5,9,4,在经过第一次分区操作之后,两个 6 的相对先后顺序就会改变。所以,快速排序并不是一个稳定的排序算法。

至此,快速排序的原理你应该掌握了。现在,我们来看另一个问题:快排和归并用的都是分治思想,递归公式和规划代码也非常相似,那它们有什么区别那?

quick_merge_sort.png

归并排序的处理过程是由下到上的,先处理子问题,然后再合并。快排正好相反,它的处理过程是由上到下的,先分区,然后再处理子问题。归并排序虽然是稳定的、时间复杂度为 O(nlogn) 的排序算法,但是它不是原地排序算法(合并函数无法原地执行)。快速排序可以通过巧妙的原地分区函数实现原地排序,解决归并排序占用太多内存的问题。

性能分析

上面在讲快排的实现原理时,已经分析过稳定性和空间复杂度。快排是一种原地、不稳定的排序算法。现在,我们主要来看快排的时间复杂度。

快排也是用递归实现的。对于递归代码的时间复杂度,之前我们总结的公式,这里还是适用的。如果每次分区操作,都能正好把数组分成大小接近的两个小区间,那快排的时间复杂度递推求解公式跟归并是相同的。所以,快排的时间复杂度也是 O(nlogn)。

T(1) = C; // n = 1 时,只需要常量级的执行时间,所以表示为 C。
T(n) = 2 * T(n / 2) + n; // n > 1

但是,公式成立的的前提是每次分区操作,我们选择的 pivot 都很合适,正好能把大区间对等地一分为二。但实际上这种情况是很难实现的。如果数据中的数据原来已经是有序的,比如 1,3,5,6,8。如果我们选择最后一个元素作为 pivot,那每次分区得到的两个区间都是不均等的。我们需要进行大约 n 次分区操作,才能完成快排的整个过程。每次分区我们平均要扫描 n/2 的元素,这种情况下,快排的时间复杂度就从 O(nlogn) 退化成了 排序 - 图25#card=math&code=O%28n%5E2%29&id=BVErO)。

上面我们介绍了两种极端情况下的时间复杂度,一个是分区极其均衡,一个是分区及其不均衡。它们分别对应快排的最好情况时间复杂度何获最坏情况时间复杂度。那快排的平均情况时间复杂度是多少?

我们假设每次分区操作都将区间分成大小为 9 : 1 的两个小区间。继续套用递归时间复杂度的递归公式:

T(1) = C;  // n = 1 时,只需要常量级的执行时间,所以表示为 C。
T(n) = T(n / 10) + T(9 * n / 10) + n; // n > 1

这个公式的递推求解的过程非常复杂,虽然可以求解,但是并不推荐这种方法。实际上,递归的时间复杂度的求解方法除了递归公式之外,还有递归树。这里直接给出结论:T(n) 在大部分情况下的时间复杂度都可以做到 O(nlogn),只有在极端情况下,才会退化到 排序 - 图26#card=math&code=O%28n%5E2%29&id=fuRhu)。而且,我们可以使用多种方法将这个概率降到很低,后面去介绍如何去做。

总结

要想分析、评价一个排序算法,需要从执行效率、内存消耗和稳定性三个方面来看。

排序算法 原地排序? 稳定排序? 最好、最坏、平均
冒泡排序 排序 - 图27%E3%80%81O(n%5E2)%E3%80%81O(n%5E2)#card=math&code=O%28n%29%E3%80%81O%28n%5E2%29%E3%80%81O%28n%5E2%29&id=nyXgD)
插入排序 排序 - 图28%E3%80%81O(n%5E2)%E3%80%81O(n%5E2)#card=math&code=O%28n%29%E3%80%81O%28n%5E2%29%E3%80%81O%28n%5E2%29&id=vZVaT)
选择排序 × 排序 - 图29%E3%80%81O(n%5E2)%E3%80%81O(n%5E2)#card=math&code=O%28n%5E2%29%E3%80%81O%28n%5E2%29%E3%80%81O%28n%5E2%29&id=Hdd27)
归并排序 × 排序 - 图30#card=math&code=O%28nlogn%29&id=MDKid)

排序 - 图31#card=math&code=O%28nlogn%29&id=BWiCG)

排序 - 图32#card=math&code=O%28nlogn%29&id=KtoEE)
快速排序 排序 - 图33#card=math&code=O%28nlogn%29&id=rFtdT)

排序 - 图34#card=math&code=O%28n%5E2%29&id=NLN4N)

排序 - 图35#card=math&code=O%28nlogn%29&id=trQXt)

3 种时间复杂度为 排序 - 图36#card=math&code=O%28n%5E2%29&id=xi9Ja) 的排序算法中,冒泡排序、选择排序,可能纯粹停留在理论层面,实际应用不多,插入排序比较有用。有些编程语言中的排序函数的实现原理会用到插入排序算法。不过 冒泡、插入、选择排序,针对小规模数据的排序的确非常高效,但是在大规模数据排序的时候,时间复杂度还是相对比较高,所以针对于大规模排序,更倾向于时间复杂度为 排序 - 图37#card=math&code=O%28nlogn%29&id=wTbkG) 的排序算法。

归并排序和快速排序是两种稍微复杂的排序算法,它们用的都是分治的思想,代码都通过递归来实现,过程非常相似。理解归并排序的重点是理解递推公式和 merge() 合并函数。同理,理解快排的重点也是理解递推公式,还有 partition() 分区函数。

归并排序算法是一种在任何情况下时间复杂度都比较稳定的排序算法,这也使它存在致命的缺点,即归并排序不是原地排序算法,空间复杂度比较高,是 O(n)。正因如此,它也没有快排应用广泛。

归并排序也可以原地排序,但是非常复杂,时间代价很高。

快速排序算法虽然最坏情况下的时间复杂度是 排序 - 图38#card=math&code=O%28n%5E2%29&id=XKc5N),但是平均情况下时间复杂度都是 排序 - 图39#card=math&code=O%28nlogn%29&id=Ms3XW)。不仅如此,快速排序算法时间复杂度退化成 排序 - 图40#card=math&code=O%28n%5E2%29&id=iRNEB) 的概率非常小,我们可以通过合理地选择 pivot 来避免这种情况。

技术拓展

为什么插入排序比冒泡排序更受欢迎?

冒泡排序和插入排序的时间复杂度都是 排序 - 图41#card=math&code=O%28n%5E2%29&id=qToe8),都是原地排序算法,为什么插入排序要比冒泡排序更受欢迎?

冒泡排序不管怎么优化,元素交换的次数是一个固定值,是原始数据的逆序度。插入排序是同样的,不管怎么优化,元素移动的次数也等于原始数据的逆序度。

但是从代码实现上来看,冒泡排序的数据交换要比插入排序的数据移动要复杂,冒泡排序需要 3 个赋值操作,插入排序只需要 1 个。

// 冒泡排序
if (arr[j] > arr[j + 1]) {
  const tmp = arr[j];

  arr[j] = arr[j + 1];
  arr[j + 1] = tmp;

  flag = true;
}

// 插入排序
if (arr[j] > tmp) {
  arr[j + 1] = arr[j];
} else {
  break;
}

我们把执行一个赋值语句的时间粗略地计为单位时间(unit_time),然后分别用冒泡排序和插入排序对同一个逆序度是 K 的数据进行排序。用冒泡排序,需要 K 次交换操作,每次需要 3 个赋值语句,所以交换操作总耗时为 3 * K 单位时间。而插入排序中数据移动操作只需要 K 个排序时间。

所以,虽然冒泡排序和插入排序在时间复杂度上是一样的,都是 排序 - 图42#card=math&code=O%28n%5E2%29&id=d5hRY) ,但是如果我们希望把性能优化做到极致,那肯定首选插入排序。插入排序的算法思路也有很大的优化空间,上面只是最基础的一种。如果你要插入排序的优化感兴趣,可以自己学一下 希尔排序

如果使用链表存储,排序算法还能使用吗?

特定的算法依赖特定的数据结构。如果数据存储在链表中,这三种排序算法还能工作嘛?相应的时间、空间复杂度又是多少?

对于以上问题,应该有个前提,就是是否允许修改链表的节点 value 值,还是只能改变节点的位置。

一般而言,考虑只能改变节点位置,冒泡排序相比数组实现,比较次数一致,但交换操作更复杂;插入排序比较次数一致,不需要有后移操作,找到位置后可以直接插入,但排序完毕后可能需要倒置链表;选择排序比较次数一致,交换操作同样比较麻烦。

综上所述,时间复杂度和空间复杂度并无明显变化,若追求极致性能,冒泡排序的时间复杂度系数会变大,插入排序系数会减小,选择排序无明显变化。

O(n) 时间查找无序数组的第 K 大元素

快排的核心思想是分治和分区,我们可以利用分区的思想,来解答这个问题。

O(n) 时间复杂度内求无序数组中的第 K 大元素。比如 4,2,5,12,3 这样一组数据,第 3 大元素就是 4。

我们选择区间 A[0 … n - 1] 的最后一个元素 A[n - 1] 作为 pivot,对数组 A[0 … n - 1] 原地分区,这样数组就分成了三部分, A[0 … p - 1],A[p],A[ p + 1 … n - 1]。

如果 p + 1 = K,那 A[p] 就是要求解的元素;如果 K > p + 1,说明第 K 大元素出现在 A[p + 1 … n - 1] 区间,我们再按照上面的思路递归地在 A[p + 1 … n - 1] 这个区间里查找。同理,如果 K < p + 1,那我们就在 A[0 … p - 1] 区间查找。

我们来看下,为什么上述解决思路的时间复杂度是 O(n) ?

第一次分区查找,我们需要对大小为 n 的数组执行分区操作,需要遍历 n 个元素。第二次分区查找,我们只需要对大小为 n / 2 的数组进行分组操作,需要遍历 n / 2 的元素。依此类推,分区遍历元素的个数分别为,n / 2、n / 4、n / 8、n / 16 … 。知道区间缩小为 1。

如果我们把每次分区遍历的元素个数加起来,就是 n + n / 2 + n / 4 + n / 8 + … + 1。这是一个等比数列求和,最后的和等于 2n - 1。所以,上述解决思路的时间复杂度就为 O(n)。

你可能会说,每次取数组中的最大值,将其移动到数组的最前面,然后在剩下的数组中继续寻找最大值,以此类推,执行 K 次,找到的数据不就是第 K 大元素了?

不过,这种实现思路时间复杂度就不是 O(n) 了,而是 O(K n)。你可能会说,时间复杂度前面的系数不是可以忽略吗?O(k n) 不就等于 O(n) 吗?

这个不能这么简单地划等号。当 K 是比较小的常量时,比如 1、2,那最好时间复杂度的确是 O(n)。但当 k 等于 n / 2 或者 n 时,这种最坏情况下的时间复杂度就是 排序 - 图43#card=math&code=O%28n%5E2%29&id=shRo3) 了。

多文件日志合并问题

假如你有 10 个接口访问日志文件,每个日志文件大小约为 300 MB,每个文件里的日志都是按照时间戳从小到大排序。你希望将这 10 个较小的日志文件,合并为 1 个日志文件,合并之后的日志仍然按照时间戳从小到大排列。如果处理上述排序任务的机器人内存只有 1 GB,你有什么解决思路?

先构建十条 io 流,分别指向 10 个文件,每条 io 流读取对应文件的第一条数据,然后比较时间戳,选择出时间戳最小的那条数据,将其写入一个新的文件,然后指向该时间戳的 io 流读取下一行数据,然后继续刚才的操作,比较选出最小的时间戳数据,写入新文件,io 流读取下一行数据,以此类推,完成文件的合并。

这种处理方式,日志文件有 n 个数据就要比较 n 次,每次比较选出一条数据来写入,时间复杂度是 O(n),空间复杂度是 O(1),几乎不占内存。