在开发系统的时候,你可能经常需要计算一个表的行数,这时候你可能会想,一条 select count() from t 语句不就解决了吗?但是,你会发现随着系统中记录数越来越多,这条语句执行得也会越来越慢。今天,我们就来看看 count() 语句到底是怎样实现的。

count(*)的实现

你首先要明确的是,在不同的 MySQL 引擎中,count(*) 有不同的实现方式。

  • MyISAM 引擎把一个表的总行数存在了磁盘上,因此执行 count(*) 的时候会直接返回这个数,效率很高(没加 where 过滤条件)
  • InnoDB 引擎就麻烦了,它执行 count(*) 的时候,需要把数据一行一行地从引擎里面读出来,然后累积计数。

为什么 InnoDB 不跟 MyISAM 一样,也把数字存起来呢?
这和 InnoDB 的事务设计有关系,可重复读是它默认的隔离级别,在代码上就是通过多版本并发控制,也就是 MVCC 来实现的。每一行记录都要判断自己是否对这个会话可见,因此对于 count(*) 请求来说,InnoDB 只好把数据一行一行地读出依次判断,可见的行才能够用于计算“基于这个查询”的表的总行数。

但是 MySQL在执行 count() 操作的时候还是做了优化的。InnoDB 是索引组织表,主键索引树的叶子节点是数据,而普通索引树的叶子节点是主键值。所以,普通索引树比主键索引树小很多。对于 count() 这样的操作,遍历哪个索引树得到的结果逻辑上都是一样的。因此,MySQL 优化器会找到最小的那棵树来遍历。在保证逻辑正确的前提下,尽量减少扫描的数据量,是数据库系统设计的通用法则之一。

不同的 count 用法

在 select count(?) from t 这样的查询语句里面,有 count(*)、count(主键 id)、count(字段) 和 count(1) 等不同用法,这些用法性能上会有差别

count() 是一个聚合函数,对于返回的结果集,一行行地判断,如果 count 函数的参数不是 NULL,累计值就加 1,否则不加。最后返回累计值。所以,count(*)、count(主键 id) 和 count(1) 都表示返回满足条件的结果集的总行数;而 count(字段),则表示返回满足条件的数据行里面,参数“字段”不为 NULL 的总个数。

我们分别执行下面语句,看看不同 count() 用法到底有什么差别

  1. //临时关闭mysql查询缓存,为了查看sql多次执行的真实时间
  2. set global query_cache_size=0;
  3. set global query_cache_type=0;
  4. EXPLAIN select count(*) from t1;
  5. EXPLAIN select count(1) from t1;
  6. EXPLAIN select count(id) from t1;
  7. EXPLAIN select count(a) from t1;

count(id)
InnoDB 引擎会遍历整张表,把每一行的 id 值都取出来,返回给 server 层。server 层拿到 id 后,判断是不可能为空的,就按行累加。

count(1)
InnoDB 引擎遍历整张表,但不取值。server 层对于返回的每一行,放一个数字“1”进去,判断是不可能为空的,按行累加。

count(字段)

  • 如果这个“字段”是定义为 not null 的话,执行的时候一行行地从记录里面读出这个字段,按行累加
  • 如果这个“字段”定义允许为 null,那么执行的时候,还要把值取出来再判断一下,不是 null 才累加。

微信截图_20210810232626.png

count(*)
并不会把全部字段取出来,而是专门做了优化,不取值。count(*) 肯定不是 null,按行累加。
微信截图_20210810232706.png

结论:

  • 字段有索引:count(*)≈count(1)>count(字段)>count(主键 id) (字段有索引,count(字段)统计走二级索引,二级索引存储数据比主键索引少,所以count(字段)>count(主键 id))
  • 字段无索引:count(*)≈count(1)>count(主键 id)>count(字段) (字段没有索引count(字段)统计走不了索引, count(主键 id)还可以走主键索引,所以count(主键 id)>count(字段) )

count()查询如何优化


  1. show table status

如果只需要知道表总行数的估计值可以用如下sql查询,性能很高 。我们知道索引统计的值是通过采样来估算的。实际上,TABLE_ROWS 就是从这个采样估算得来的,因此它也很不准。有多不准呢,官方文档说误差可能达到 40% 到 50%

  1. 将总数维护到Redis里

插入或删除表数据行的时候同时维护redis里的表总行数key的计数值(用incr或decr命令),但是这种方式可能不准,很难保证表操作和redis操作的事务一致性

  1. 增加数据库计数表

插入或删除表数据行的时候同时维护计数表,让他们在同一个事务里操作