使用窗口函数前后对比

假设我现在有这样一个数据表，它显示了某购物网站在每个城市每个区的销售额：
准备工作：

  1. CREATE DATABASE dbtest18;
  3. USE dbtest18;
  5. CREATE TABLE sales( 
  6. id INT PRIMARY KEY AUTO_INCREMENT, 
  7. city VARCHAR(15), 
  8. county VARCHAR(15), 
  9. sales_value DECIMAL 
  10. );
  11. INSERT INTO sales(city,county,sales_value) 
  12. VALUES 
  13. ('北京','海淀',10.00), 
  14. ('北京','朝阳',20.00), 
  15. ('上海','黄埔',30.00), 
  16. ('上海','长宁',10.00);

需求：现在计算这个网站在每个城市的销售总额、在全国的销售总额、每个区的销售额占所在城市销售额中的比率，以及占总销售额中的比率。
如果用分组和聚合函数，就需要分好几步来计算。
第一步，计算总销售金额，并存入临时表 a： 

CREATE TEMPORARY TABLE a -- 创建临时表 
SELECT SUM(sales_value) AS sales_value -- 计算总计金额 
FROM sales;

第二步，计算每个城市的销售总额并存入临时表 b：

CREATE TEMPORARY TABLE b -- 创建临时表 
SELECT city,SUM(sales_value) AS sales_value -- 计算城市销售合计 
FROM sales 
GROUP BY city;

第三步，计算各区的销售占所在城市的总计金额的比例，和占全部销售总计金额的比例。我们可以通过下面的连接查询获得需要的结果：

mysql> SELECT s.city AS 城市,s.county AS 区,s.sales_value AS 区销售额, 
-> b.sales_value AS 市销售额,s.sales_value/b.sales_value AS 市比率, 
-> a.sales_value AS 总销售额,s.sales_value/a.sales_value AS 总比率 
-> FROM sales s 
-> JOIN b ON (s.city=b.city) -- 连接市统计结果临时表 
-> JOIN a -- 连接总计金额临时表 
-> ORDER BY s.city,s.county; 
+------+------+----------+----------+--------+----------+--------+ 
| 城市 | 区    | 区销售额 | 市销售额 | 市比率  | 总销售额 | 总比率  | 
+------+------+----------+----------+--------+----------+--------+ 
| 上海 | 长宁  | 10      | 40      | 0.2500  | 70      | 0.1429 | 
| 上海 | 黄埔  | 30      | 40      | 0.7500  | 70      | 0.4286 | 
| 北京 | 朝阳  | 20      | 30      | 0.6667  | 70      | 0.2857 | 
| 北京 | 海淀  | 10      | 30      | 0.3333  | 70      | 0.1429 | 
+------+------+----------+----------+--------+----------+--------+ 
4 rows in set (0.00 sec)

结果显示：市销售金额、市销售占比、总销售金额、总销售占比都计算出来了。
同样的查询，如果用窗口函数，就简单多了。我们可以用下面的代码来实现：

mysql> SELECT city AS 城市,county AS 区,sales_value AS 区销售额, 
-> SUM(sales_value) OVER(PARTITION BY city) AS 市销售额, -- 计算市销售额 
-> sales_value/SUM(sales_value) OVER(PARTITION BY city) AS 市比率, 
-> SUM(sales_value) OVER() AS 总销售额, -- 计算总销售额 
-> sales_value/SUM(sales_value) OVER() AS 总比率 
-> FROM sales 
-> ORDER BY city,county; 
+------+------+----------+----------+--------+----------+--------+ 
| 城市 | 区    | 区销售额 | 市销售额 | 市比率  | 总销售额 | 总比率  | 
+------+------+----------+----------+--------+----------+--------+ 
| 上海 | 长宁  | 10      | 40      | 0.2500  | 70      | 0.1429 | 
| 上海 | 黄埔  | 30      | 40      | 0.7500  | 70      | 0.4286 | 
| 北京 | 朝阳  | 20      | 30      | 0.6667  | 70      | 0.2857 | 
| 北京 | 海淀  | 10      | 30      | 0.3333  | 70      | 0.1429 | 
+------+------+----------+----------+--------+----------+--------+ 
4 rows in set (0.00 sec)

结果显示，我们得到了与上面那种查询同样的结果。
使用窗口函数，只用了一步就完成了查询。而且，由于没有用到临时表，执行的效率也更高了。很显然，在这种需要用到分组统计的结果对每一条记录进行计算的场景下，使用窗口函数更好。

窗口函数分类

MySQL从8.0版本开始支持窗口函数。窗口函数的作用类似于在查询中对数据进行分组，不同的是，分组操作会把分组的结果聚合成一条记录，而窗口函数是将结果置于每一条数据记录中。

  • 窗口函数可以分为 静态窗口函数 和 动态窗口函数 。
  • 静态窗口函数的窗口大小是固定的，不会因为记录的不同而不同；

动态窗口函数的窗口大小会随着记录的不同而变化。
MySQL官方网站窗口函数的网址为
https://dev.mysql.com/doc/refman/8.0/en/window-function-descriptions.html#function_row-number。
窗口函数总体上可以分为序号函数、分布函数、前后函数、首尾函数和其他函数，如下表：图片.png

语法结构

窗口函数的语法结构是： 

函数 OVER（[PARTITION BY 字段名 ORDER BY 字段名 ASC|DESC]）

或者是： 

函数 OVER 窗口名 … WINDOW 窗口名 AS （[PARTITION BY 字段名 ORDER BY 字段名 ASC|DESC]）
  • OVER 关键字指定函数窗口的范围。
    • 如果省略后面括号中的内容，则窗口会包含满足WHERE条件的所有记录，窗口函数会基于所有满足WHERE条件的记录进行计算。
    • 如果OVER关键字后面的括号不为空，则可以使用如下语法设置窗口。
  • 窗口名：为窗口设置一个别名，用来标识窗口。
  • PARTITION BY子句：指定窗口函数按照哪些字段进行分组。分组后，窗口函数可以在每个分组中分别执行。
  • ORDER BY子句：指定窗口函数按照哪些字段进行排序。执行排序操作使窗口函数按照排序后的数据记录的顺序进行编号。
  • FRAME子句：为分区中的某个子集定义规则，可以用来作为滑动窗口使用。

    分类讲解

    数据准备 ```sql create database dbtest18;

use dbtest18;

创建表
```sql
CREATE TABLE good( 
id INT PRIMARY KEY AUTO_INCREMENT comment 'id', 
category_id INT comment '商品分类编号' , 
category VARCHAR(15) comment '分类', 
NAME VARCHAR(30) comment '商品名称', 
price DECIMAL(10,2) comment '价格', 
stock INT comment '库存', 
upper_time DATETIME comment '上架时间'
);

添加数据

INSERT INTO goods(category_id,category,NAME,price,stock,upper_time) 
VALUES 
(1, '女装/女士精品', 'T恤', 39.90, 1000, '2020-11-10 00:00:00'), 
(1, '女装/女士精品', '连衣裙', 79.90, 2500, '2020-11-10 00:00:00'), 
(1, '女装/女士精品', '卫衣', 89.90, 1500, '2020-11-10 00:00:00'), 
(1, '女装/女士精品', '牛仔裤', 89.90, 3500, '2020-11-10 00:00:00'), 
(1, '女装/女士精品', '百褶裙', 29.90, 500, '2020-11-10 00:00:00'), 
(1, '女装/女士精品', '呢绒外套', 399.90, 1200, '2020-11-10 00:00:00'), 
(2, '户外运动', '自行车', 399.90, 1000, '2020-11-10 00:00:00'), 
(2, '户外运动', '山地自行车', 1399.90, 2500, '2020-11-10 00:00:00'), 
(2, '户外运动', '登山杖', 59.90, 1500, '2020-11-10 00:00:00'), 
(2, '户外运动', '骑行装备', 399.90, 3500, '2020-11-10 00:00:00'), 
(2, '户外运动', '运动外套', 799.90, 500, '2020-11-10 00:00:00'), 
(2, '户外运动', '滑板', 499.90, 1200, '2020-11-10 00:00:00');

下面针对goods表中的数据来验证每个窗口函数的功能。

1. 序号函数

1．ROW_NUMBER()函数

ROW_NUMBER() 函数能够对数据中的序号进行顺序显示。
举例：查询 goods 数据表中每个商品分类下价格降序排列的各个商品信息。 

select row_number() over (partition by category_id order by price desc) as row_num,
       id,category_id,category,name,price,stock
from goods

结果如下：图片.png含义：多出一个row_num字段，按 category_id分组，按price排序

举例：查询 goods 数据表中每个商品分类下价格最高的3种商品信息。

select *
from (
     select row_number() over (partition by category_id order by price desc) as row_num,
       id,category_id,category,name,price,stock
from goods
         ) t
where row_num <=3;

结果如下：图片.png根据上述举例，将商品分类后，取出价格最高的前3个

在名称为“女装/女士精品”的商品类别中，有两款商品的价格为89.90元，分别是卫衣和牛仔裤。两款商品 的序号都应该为2，而不是一个为2，另一个为3。此时，可以使用RANK()函数和DENSE_RANK()函数解决。

2．RANK()函数

使用RANK()函数能够对序号进行并列排序，并且会跳过重复的序号，比如序号为1、1、3。 不影响总数。
举例：使用RANK()函数获取 goods 数据表中各类别的价格从高到低排序的各商品信息。

select rank() over (partition by category_id order by price desc) as row_num,
       id,category_id,category,name,price,stock
from goods

结果如下：图片.png
举例：使用RANK()函数获取 goods 数据表中类别为“女装/女士精品”的价格最高的4款商品信息。

select *
from (
     select rank() over ()) over (partition by category_id order by price desc) as row_num,
       id,category_id,category,name,price,stock
from goods
         ) t
where row_num <=4;

结果如下：图片.png可以看到，使用RANK()函数得出的序号为1、2、2、4，相同价格的商品序号相同，后面的商品序号是不连续的，跳过了重复的序号。

3．DENSE_RANK()函数

DENSE_RANK()函数对序号进行并列排序，并且不会跳过重复的序号，比如序号为1、1、2。 影响总数
举例：使用DENSE_RANK()函数获取 goods 数据表中各类别的价格从高到低排序的各商品信息。

select dense_rank() over (partition by category_id order by price desc) as row_num,
       id,category_id,category,name,price,stock
from goods

结果如下：图片.png举例：使用DENSE_RANK()函数获取 goods 数据表中类别为“女装/女士精品”的价格最高的4款商品信息。 

select *
from (
     select dense_rank()  over (partition by category_id order by price desc) as row_num,
       id,category_id,category,name,price,stock
from goods
         ) t
where category_id = 1 and row_num <=4;

结果如下：图片.png
总结：rank() 函数虽然出现重复式排名，但是不影响总数，dense_rank() 函数出现重复式排名，但影响总数。

2. 分布函数

1．PERCENT_RANK()函数

PERCENT_RANK()函数是等级值百分比函数。按照如下方式进行计算。

(rank - 1) / (rows - 1)

其中，rank的值为使用RANK()函数产生的序号，rows的值为当前窗口的总记录数。
举例：计算 goods 数据表中名称为“女装/女士精品”的类别下的商品的PERCENT_RANK值。 

#写法一：
SELECT RANK() OVER (PARTITION BY category_id ORDER BY price DESC) AS r,
       PERCENT_RANK() OVER (PARTITION BY category_id ORDER BY price DESC) AS pr,
       id, category_id, category, name, price, stock
FROM goods WHERE category_id = 1;

#写法二：
SELECT RANK() OVER w AS r,
    PERCENT_RANK() OVER w AS pr,
    id, category_id, category, name, price, stock
FROM goods
WHERE category_id = 1 WINDOW w AS (PARTITION BY category_id ORDER BY price DESC);

结果如下：图片.pngr 其实就是上述公式中的 rank ，分类的category_id的个数就是上述公式中的rows ，便会出现如下结果。

当r＝1的时候，百分比0 ，当r＝2的时候，百分比0.2 ，往下推进，便是percent_rank()函数的结果

2．CUME_DIST()函数

CUME_DIST() 函数主要用于查询小于或等于某个值的比例。
公式：

rank / rows

举例：查询goods 数据表中小于或等于当前价格的比例。 

SELECT
       rank() over (PARTITION BY category_id ORDER BY price ASC) as r,
       CUME_DIST() OVER(PARTITION BY category_id ORDER BY price ASC) AS cd,
       id, category, name, price
FROM goods
where category_id = 1;

结果如下：图片.png

3. 前后函数

1．LAG(expr,n)函数

LAG(expr,n)函数返回当前行的前n行的expr的值。
举例：查询goods数据表中前一个商品价格与当前商品价格的差值。

SELECT id, category, name, price, pre_price, price - pre_price AS diff_price
FROM (
    SELECT id, category, NAME, price,LAG(price,1) OVER (PARTITION BY category_id ORDER BY price) AS pre_price
    FROM goods
    ) t;

#内部子查询如下:
SELECT id, category, name, price,LAG(price,1) OVER (PARTITION BY category_id ORDER BY price) AS pre_price
FROM goods;

结果如下：图片.png

2．LEAD(expr,n)函数

LEAD(expr,n)函数返回当前行的后n行的expr的值。
举例：查询goods数据表中后一个商品价格与当前商品价格的差值。

SELECT id, category, name, price, pre_price, pre_price - price  AS diff_price
FROM (
    SELECT id, category, NAME, price,LEAD(price,1) OVER (PARTITION BY category_id ORDER BY price) AS pre_price
    FROM goods
    ) t;

#内部子查询如下:
SELECT id, category, name, price,LEAD(price,1) OVER (PARTITION BY category_id ORDER BY price) AS pre_price
FROM goods;

结果如下：图片.png

4. 首尾函数

1．FIRST_VALUE(expr)函数

FIRST_VALUE(expr)函数返回第一个expr的值。
举例：按照价格排序，查询第1个商品的价格信息。

SELECT id, category, name, price, stock,FIRST_VALUE(price) OVER (PARTITION BY category_id ORDER BY price) AS first_price
FROM goods;

结果如下：图片.png

2．LAST_VALUE(expr)函数

LAST_VALUE(expr)函数返回最后一个expr的值。
举例：按照价格排序，查询最后一个商品的价格信息。

SELECT id, category, name, price, stock,LAST_VALUE(price) OVER (PARTITION BY category_id ORDER BY price) AS last_price
FROM goods;

结果如下：图片.png

5. 其他函数

1．NTH_VALUE(expr,n)函数

NTH_VALUE(expr,n)函数返回第n个expr的值。
举例：查询goods数据表中排名第2和第3的价格信息。

SELECT ROW_NUMBER() OVER(PARTITION BY category_id ORDER BY price) AS row_num, 
id, category, name, price,
NTH_VALUE(price,2) OVER (PARTITION BY category_id ORDER BY price) AS second_price,
NTH_VALUE(price,3) OVER (PARTITION BY category_id ORDER BY price) AS third_price
FROM goods;

结果如下：图片.png

2．NTILE(n)函数

NTILE(n)函数将分区中的有序数据分为n个桶，记录桶编号。
举例：将goods表中的商品按照价格分为3组。

SELECT ROW_NUMBER() OVER(PARTITION BY category_id ORDER BY price) AS row_num,
NTILE(3) OVER (PARTITION BY category_id ORDER BY price) AS nt,
id, category, name, price
FROM goods;

结果如下：图片.png

小 结

窗口函数的特点是可以分组，而且可以在分组内排序。另外，窗口函数不会因为分组而减少原表中的行数，这对我们在原表数据的基础上进行统计和排序非常有用。