1. 窗口函数

1.1 窗口函数概念及基本的使用方法

窗口函数也称为OLAP函数。OLAP 是OnLine Analytical Processing (联机分析处理)的简称,意思是对数据库数据进行实时分析处理

与此相对的还有一个OLTP(OnLine Transaction Processing, 联机事务处理)。OLTP侧重事务,OLAP侧重分析。

【拓展资料1】
从功能角度来看,OLTP负责基本业务的正常运转,而业务数据积累时所产生的价值信息则被OLAP不断呈现,企业高层通过参考这些信息会不断调整经营方针,也会促进基础业务的不断优化,这是OLTP与OLAP最根本的区别。
OLAP2.jpg
图文引用自:https://baijiahao.baidu.com/s?id=1611554859260686629&wfr=spider&for=pc

【拓展资料2】
OLTP: real-time, limited data accessed, random data access, sequential processing, querying
OLAP: long running, entire data set accessed, sequential data access, parallel processing, batch processing
olap.jpg
图文引用自:http://tinkerpop.apache.org/docs/current/reference/#graphcomputer

为了便于理解,将OLAP函数称之为窗口函数。常规的SELECT语句都是对整张表进行查询,而窗口函数可以让我们有选择的取某一部分数据进行汇总、计算和排序

窗口函数的通用形式:

  1. <窗口函数> OVER ([PARTITION BY <列名>]
  2. ORDER BY <排序用列名>)

其中,[PARTITION BY <列名>]这部分可以省略。

窗口函数最关键的是搞明白关键字**PARTITON BY****ORDER BY**的作用
PARTITON BY是用来分组,即选择要看哪个窗口,类似于GROUP BY 子句的分组功能,但是PARTITION BY 子句并不具备GROUP BY 子句的汇总功能,并不会改变原始表中记录的行数
ORDER BY是用来排序,即决定窗口内,是按那种规则(字段)来排序的。

举了栗子 image.png

  1. SELECT product_name
  2. ,product_type
  3. ,sale_price
  4. ,RANK() OVER (PARTITION BY product_type
  5. ORDER BY sale_price) AS ranking
  6. FROM product;

教程里面的句末都漏了分号
得到的结果是:
image.png
我们先忽略生成的新列 - [ranking],看下原始数据在PARTITION BY 和 ORDER BY 关键字的作用下发生了什么变化。

  • PARTITION BY 能够设定窗口对象范围。本例中,为了按照商品种类进行排序,我们指定了product_type。即一个商品种类就是一个小的“窗口”。


  • ORDER BY 能够指定按照哪一列、何种顺序进行排序。为了按照销售单价的升序进行排列,我们指定了sale_price。此外,窗口函数中的ORDER BY与SELECT语句末尾的ORDER BY一样,可以通过关键字ASC/DESC来指定升序/降序。省略该关键字时会默认按照ASC,也就是升序进行排序。本例中就省略了上述关键字 。

(最终的效果是对每种商品类别分别按商品价格进行排名)
image.png

2 窗口函数种类

大致来说,窗口函数可以分为两类。
一是 将SUM、MAX、MIN等聚合函数用在窗口函数中
二是 RANK、DENSE_RANK等排序用的专用窗口函数

2.1 专用窗口函数

  • RANK函数

计算排序时,如果存在相同位次的记录,则会跳过之后的位次。(跳同位次
例)有 3 条记录排在第 1 位时:1 位、1 位、1 位、4 位……

  • DENSE_RANK函数

同样是计算排序,即使存在相同位次的记录,也不会跳过之后的位次。(不跳同位次
例)有 3 条记录排在第 1 位时:1 位、1 位、1 位、2 位……

  • ROW_NUMBER函数

赋予唯一的连续位次。(位次连续且唯一
例)有 3 条记录排在第 1 位时:1 位、2 位、3 位、4 位

运行以下代码:

  1. SELECT product_name
  2. ,product_type
  3. ,sale_price
  4. ,RANK() OVER (ORDER BY sale_price) AS ranking
  5. ,DENSE_RANK() OVER (ORDER BY sale_price) AS dense_ranking
  6. ,ROW_NUMBER() OVER (ORDER BY sale_price) AS row_num
  7. FROM product;

执行结果:
image.png

2.2 聚合函数在窗口函数上的使用

聚合函数在开窗函数中的使用方法和之前的专用窗口函数一样,只是出来的结果是一个累计的聚合函数值。
运行以下代码:

  1. SELECT product_id
  2. ,product_name
  3. ,sale_price
  4. ,SUM(sale_price) OVER (ORDER BY product_id) AS current_sum
  5. ,AVG(sale_price) OVER (ORDER BY product_id) AS current_avg
  6. FROM product;

执行结果:
image.png

current_sum列的计算示意图:(圆珠笔的价格不一样,是因为在task03进行更新过。下同。)
image.png
current_avg列的计算示意图
image.png

可以看出,聚合函数结果是,按我们指定的排序,这里是product_id,当前所在行及之前所有的行的合计或均值。即累计到当前行的聚合**(这句话是在窗口函数使用聚合函数的精髓)**。

3. 窗口函数的的应用 - 计算移动平均

在上面提到,聚合函数在窗口函数使用时,计算的是累积到当前行的所有的数据的聚合。 实际上,还可以指定更加详细的汇总范围。该汇总范围成为框架(frame)

语法:

  1. <窗口函数> OVER (ORDER BY <排序用列名>
  2. ROWS n PRECEDING )
  3. <窗口函数> OVER (ORDER BY <排序用列名>
  4. ROWS BETWEEN n PRECEDING AND n FOLLOWING)

PRECEDING(“之前”), 将框架指定为 “截止到之前 n 行”,加上自身行
FOLLOWING(“之后”), 将框架指定为 “截止到之后 n 行”,加上自身行
BETWEEN 1 PRECEDING AND 1 FOLLOWING,将框架指定为 “之前1行” + “之后1行” + “自身”

示例代码:

  1. SELECT product_id
  2. ,product_name
  3. ,sale_price
  4. ,AVG(sale_price) OVER (ORDER BY product_id
  5. ROWS 2 PRECEDING) AS moving_avg
  6. ,AVG(sale_price) OVER (ORDER BY product_id
  7. ROWS BETWEEN 1 PRECEDING
  8. AND 1 FOLLOWING) AS moving_avg
  9. FROM product;

执行结果:
image.png

结果分析:(注意观察框架的范围)
ROWS 2 PRECEDING 这部分对应的框架范围如下:
image.png

ROWS BETWEEN 1 PRECEDING AND 1 FOLLOWING 这部分对应的框架范围如下:
image.png

3.1 窗口函数适用范围和注意事项

原则上,窗口函数只能在SELECT子句中使用。
窗口函数OVER 中的ORDER BY 子句并不会影响最终结果的排序。其只是用来决定窗口函数按何种顺序计算。
image.png



4 GROUPING运算符

4.1 ROLLUP - 计算合计及小计

常规的GROUP BY 只能得到每个分类的小计,有时候还需要计算分类的合计,可以用 **ROLLUP关键字**

ROLLUP的一个使用例子:

  1. SELECT product_type
  2. ,regist_date
  3. ,SUM(sale_price) AS sum_price
  4. FROM product
  5. GROUP BY product_type, regist_date WITH ROLLUP;

查询结果:
frame01.png

这里ROLLUP对product_type,regist_date两列进行合计汇总。结果实际上有三层聚合,如下图“模块3”是常规的 GROUP BY 的结果,需要注意的是“衣服”有个“注册日期”为空的,这是本来数据就存在日期为空的,不是对衣服类别的合计; 模块2和1是 ROLLUP 带来的合计,模块2是对产品种类的合计,模块1是对全部数据的总计。

ROLLUP 可以对多列进行汇总求小计和合计。
image.png

5. 练习题

5.1

请说出针对本章中使用的 product(商品)表执行如下 SELECT 语句所能得到的结果。

  1. SELECT product_id
  2. ,product_name
  3. ,sale_price
  4. ,MAX(sale_price) OVER (ORDER BY product_id) AS Current_max_price
  5. FROM product;

回答:
根据product_id排序,计算累计到当前行的最大sale_price。
验证:
image.png

5.2

继续使用product表,计算出按照登记日期(regist_date)升序进行排列的各日期的销售单价(sale_price)的总额。排序是需要将登记日期为NULL 的“运动 T 恤”记录排在第 1 位(也就是将其看作比其他日期都早)

回答:

  1. SELECT product_id
  2. ,product_name
  3. ,regist_date
  4. ,SUM(sale_price) OVER (partition by regist_date) AS sum_price_by_date
  5. FROM product
  6. ORDER BY -ISNULL(regist_date), regist_date;

image.png

5.3

思考题
① 窗口函数不指定PARTITION BY的效果是什么?

回答:如果不指定PARTITION BY的话,窗口函数的操作窗口就是整个表(即所有记录都算为同一个分组)。比如rank会对指定的列进行排序,不会再分成多组分别进行排序。

② 为什么说窗口函数只能在SELECT子句中使用?实际上,在ORDER BY 子句使用系统并不会报错。

回答:窗口函数会对整个表进行分组,而 WHERE子句 和 HAVING子句 分别是放的记录和字段筛选条件、GROUP BY子句放的是分组依据,都不适合把窗口函数放到其中使用。而ORDER BY子句则是对SELECT子句中的结果进行操作,操作的是整个结果表,所以可以使用窗口函数,但是窗口函数的返回结果只作为ORDER BY子句的排序依据,并不能返回期望的结果。