MySQL - 【精品】MySQL调优2：索引优化和查询优化 - 《Java 笔记》

索引优化
索引采用的数据结构
- Hash表
  - Hash索引
    - hash索引的限制
    - 合适的hash索引使用场景
- B+树
索引匹配方式
索引优化细节
索引监控
简单案例
- 索引优化分析案例

索引优化

为什么要用索引？

大大减少服务器需要扫描的数量
2. 帮助服务器避免排序和临时表
3. 将随机Io变成顺序io

索引的作用

快速查找匹配where子句的行
2. 从consideration中消除行，如果可以在多个索引之间进行选择，mysql通常会使用找到最少行的索引
3. 如果表具有多列索引，则优化器可以使用索引的任何最左前缀来查找行
4. 当有表连接的时候，从其他表检索行数据
5 查找特定索引列的Min或max值
6. 如果排序或分组时在可用索引的最左前缀上完成的，则对表进行分组
7. 在某些情况下，可以优化查询以检索值而无需查询数据行

索引的分类

1. 主键索引聚簇索引

2. 唯一索引

联合惟一索引

3. 普通索引

4. 全文索引

5. 组合索引

当包含多个列作为索引，需要注意的是正确的顺序依赖于该索引的查询，同时需要考虑如何更好的满足排序和分组的要求。

案例，建立组合索引a,b,c

技术名词

聚簇索引和非聚簇索引

聚簇索引

不是单独的索引类型，而是一种数据存储方式，指的是数据行跟相邻的键值紧凑的存储在一起
优点：

可以把相关数据保存在一起
数据访问更快，因为索引和数据在同一个数中
使用覆盖索引扫描的查询可以直接使用页节点中的主键值

缺点：

聚簇数据最大限度地提高了Io密集型应用的性能，如果数据全部在内存，那么聚簇索引就没有优势了
插入速度严重依赖插入顺序，按照主键的顺序插入是最快的方式
更新聚簇索引列的代价很高，因为会强制将每个被更新的行移动新的位置
基于聚簇索引的表在插入新行，或者主键被更新导致需要移动行的时候，可能面临分裂的问题
聚簇索引可能会导致全表扫描，尤其是行比较稀疏，或者由于页分裂导致数据存储不连接的时候

非聚簇索引

数据文件跟索引文件分开存放

回表

覆盖索引

基本介绍

如果一个索引包含所有需要查询的字段的值，称为覆盖索引
不是所有类型的索引都可能称为覆盖索引，覆盖索引必须要存储索引列的值
不同的存储实现覆盖索引的方式不同，不是所有的引擎都支持覆盖索引，memory不支持覆盖索引

优势

索引条目通常小于数据行大小，如果只需要读取索引，那么mysql就会极大的较少数据访问量
因为索引是按照列值顺序存储，所以对于io密集型的范围查询会比随机从磁盘读每一行数据的io少的多
一些存储引擎如myisam在内存中只缓存索引，数据则依赖于操作系统来缓存，因此要访问数据需要一次系统调用
~~由于innodb的聚簇索引，覆盖索引对innodb特别有用~~
案例演示
1、当发起一个被索引覆盖的查询时，在explain的extra列可以看到using index的信息，此时就使用了覆盖索引

mysql> explain select store_id,film_id from inventory\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: inventory
   partitions: NULL
         type: index
possible_keys: NULL
          key: idx_store_id_film_id
      key_len: 3
          ref: NULL
         rows: 4581
     filtered: 100.00
        Extra: Using index
1 row in set, 1 warning (0.01 sec)

2、在大多数存储引擎中，覆盖索引只能覆盖那些只访问索引中部分列的查询。不过，可以进一步的进行优化，可以使用innodb的二级索引来覆盖查询。

例如：actor使用innodb存储引擎，并在last_name字段又二级索引，虽然该索引的列不包括主键actor_id，但也能够用于对actor_id做覆盖查询

mysql> explain select actor_id,last_name from actor where last_name='HOPPER'\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: actor
   partitions: NULL
         type: ref
possible_keys: idx_actor_last_name
          key: idx_actor_last_name
      key_len: 137
          ref: const
         rows: 2
     filtered: 100.00
        Extra: Using index
1 row in set, 1 warning (0.00 sec)

前缀索引

有时候需要索引很长的字符串，这会让索引变的大且慢，通常情况下可以使用某个列开始的部分字符串，这样大大的节约索引空间，从而提高索引效率，但这会降低索引的选择性，索引的选择性是指不重复的索引值和数据表记录总数的比值，范围从1/#T到1之间。索引的选择性越高则查询效率越高，因为选择性更高的索引可以让mysql在查找的时候过滤掉更多的行。
一般情况下某个列前缀的选择性也是足够高的，足以满足查询的性能，但是对应BLOB,TEXT,VARCHAR类型的列，必须要使用前缀索引，因为mysql不允许索引这些列的完整长度，使用该方法的诀窍在于要选择足够长的前缀以保证较高的选择性，通过又不能太长。

案例演示：

--创建数据表
create table citydemo(city varchar(50) not null);
insert into citydemo(city) select city from city;
--重复执行5次下面的sql语句
insert into citydemo(city) select city from citydemo;
--更新城市表的名称
update citydemo set city=(select city from city order by rand() limit 1);
--查找最常见的城市列表，发现每个值都出现45-65次，
select count(*) as cnt,city from citydemo group by city order by cnt desc limit 10;
--查找最频繁出现的城市前缀，先从3个前缀字母开始，发现比原来出现的次数更多，可以分别截取多个字符查看城市出现的次数
select count(*) as cnt,left(city,3) as pref from citydemo group by pref order by cnt desc limit 10;
select count(*) as cnt,left(city,7) as pref from citydemo group by pref order by cnt desc limit 10;
--此时前缀的选择性接近于完整列的选择性
--还可以通过另外一种方式来计算完整列的选择性，可以看到当前缀长度到达7之后，再增加前缀长度，选择性提升的幅度已经很小了
select count(distinct left(city,3))/count(*) as sel3,
count(distinct left(city,4))/count(*) as sel4,
count(distinct left(city,5))/count(*) as sel5,
count(distinct left(city,6))/count(*) as sel6,
count(distinct left(city,7))/count(*) as sel7,
count(distinct left(city,8))/count(*) as sel8 
from citydemo;
--计算完成之后可以创建前缀索引
alter table citydemo add key(city(7));
--注意：前缀索引是一种能使索引更小更快的有效方法，但是也包含缺点：mysql无法使用前缀索引做order by 和 group by。

最左匹配

索引下推

演示

select * from user where name like '张%' and age=18 and sex=1;
如上sql，数据库有主键索引和（name,age）联合索引。因为只有name字段能够命中索引，故在5.6-版本，找到所有张姓用户后，比如有100条，则需要100条数据全量回表；而5.6+则有索引下推，会在索引树叶子节点上找到100条数据，过滤掉age!=18的数据，剩下在联合索引无法过滤的sex字段，则只能回表过滤。

索引扫描

使用索引执行来做排序

mysql有两种方式可以生成有序的结果：通过排序操作或者按索引顺序扫描，如果explain出来的type列的值为index,则说明mysql使用了索引扫描来做排序

扫描索引本身是很快的，因为只需要从一条索引记录移动到紧接着的下一条记录。但如果索引不能覆盖查询所需的全部列，那么就不得不每扫描一条索引记录就得回表查询一次对应的行，这基本都是随机IO，因此按索引顺序读取数据的速度通常要比顺序地全表扫描慢
mysql可以使用同一个索引即满足排序，又用于查找行，如果可能的话，设计索引时应该尽可能地同时满足这两种任务。
只有当索引的列顺序和order by子句的顺序完全一致，并且所有列的排序方式都一样时，mysql才能够使用索引来对结果进行排序，如果查询需要关联多张表，则只有当orderby子句引用的字段全部为第一张表时，才能使用索引做排序。order by子句和查找型查询的限制是一样的，需要满足索引的最左前缀的要求，否则，mysql都需要执行顺序操作，而无法利用索引排序

--sakila数据库中rental表在rental_date,inventory_id,customer_id上有rental_date的索引
--使用rental_date索引为下面的查询做排序
explain select rental_id,staff_id from rental where rental_date='2005-05-25' order by inventory_id,customer_id\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: rental
   partitions: NULL
         type: ref
possible_keys: rental_date
          key: rental_date
      key_len: 5
          ref: const
         rows: 1
     filtered: 100.00
        Extra: Using index condition
1 row in set, 1 warning (0.00 sec)
--order by子句不满足索引的最左前缀的要求，也可以用于查询排序，这是因为所以你的第一列被指定为一个常数
--该查询为索引的第一列提供了常量条件，而使用第二列进行排序，将两个列组合在一起，就形成了索引的最左前缀
explain select rental_id,staff_id from rental where rental_date='2005-05-25' order by inventory_id desc\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: rental
   partitions: NULL
         type: ref
possible_keys: rental_date
          key: rental_date
      key_len: 5
          ref: const
         rows: 1
     filtered: 100.00
        Extra: Using where
1 row in set, 1 warning (0.00 sec)
--下面的查询不会利用索引
explain select rental_id,staff_id from rental where rental_date>'2005-05-25' order by rental_date,inventory_id\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: rental
   partitions: NULL
         type: ALL
possible_keys: rental_date
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 16005
     filtered: 50.00
        Extra: Using where; Using filesort
--该查询使用了两中不同的排序方向，但是索引列都是正序排序的
explain select rental_id,staff_id from rental where rental_date>'2005-05-25' order by inventory_id desc,customer_id asc\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: rental
   partitions: NULL
         type: ALL
possible_keys: rental_date
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 16005
     filtered: 50.00
        Extra: Using where; Using filesort
1 row in set, 1 warning (0.00 sec)
--该查询中引用了一个不再索引中的列
explain select rental_id,staff_id from rental where rental_date>'2005-05-25' order by inventory_id,staff_id\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: rental
   partitions: NULL
         type: ALL
possible_keys: rental_date
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 16005
     filtered: 50.00
        Extra: Using where; Using filesort
1 row in set, 1 warning (0.00 sec)

索引采用的数据结构

Hash表

Hash索引

基于hash索引的实现，只有精确匹配索引所有列的查询才有效
在mysql中，只有memory的存储引擎显式支持hash索引
hash索引自身只需要存储对应的hash值，所以索引的结构十分紧凑，这让hash索引查找的速度非常快

hash索引的限制

没法覆盖索引： hash索引只包含hash值和行指针，而不存储字段值，索引不能使用索引中的值来避免读取行
没法order by: hash索引数据并不是按照索引值顺序存储的，所以无法进行排序
不支持模糊匹配查找：hash索引不支持部分列匹配查找，hash索引是使用索引列的全部内容来计算hash值
不支持范围查询：hash索引支持等值比较查询，也不支持任何范围查询
hash冲突后要遍历链表：访问hash索引的数据非常快，除非有严重hash冲突，出现hash冲突时，存储引擎必须遍历链表
hash冲突比较多的话，维护代价很高

合适的hash索引使用场景

当需要存储大量url，并且根据url搜索查找时，使用b+树索引占用就会比较在，将url使用CRC32作hash,就可以select id from url where url_crc=CRC32(“url”);

B+树

索引匹配方式

全值匹配

 全值匹配指的是和索引中所有的列进行匹配: <br />`explain select*from staffs where name='July'andage ='23' and pos='dev'`

匹配最左前缀

只匹配前面的几列
explain select * from staff where name='July' and age='24';

匹配列前缀

可以匹配某一列的值的开头部分
explain select * from staffs where name like 'J%'
explain select * from staffs where name like '%y';

匹配范围值

可以查找某一个范围的数据
explain select * from staffes where name > 'Marry';

精确匹配某一列并范围匹配另一列

可以查询第一列的全部和第二列的部分
explain select * from staffs where name='July' and age>25;

只访问索引的查询

查询的时候只需要访问索引，不需要访问数据行，本质上就是覆盖索引
explain select name,age,pos from staffs where name='July' and age=25 and pos='dev';

索引优化细节

把计算放在业务层而非数据库

不要使用表达式，把计算放在业务层而非数据库，如使用where id=5 而非 where id-1=4

尽量使用主键查询

因为主键索引不需要回表

使用前缀索引
使用索引扫描来做排序
union/all/in/or都可以使用索引，但推荐使用In

explain select * from actor where actor_id = 1 union all select * from actor where actor_id = 2;
explain select * from actor where actor_id in (1,2);
explain select * from actor where actor_id = 1 or actor_id =2;

范围列可以用到索引

范围条件是：< >
范围列可以用到索引，但是范围列后面的列无法用到索引，索引最多用于一个范围列

强制类型转换会全表扫描

更新十分频繁，数据区分度不高的字段不宜建立索引
- 更新会变更B+树，更新频繁的字段建立索引会大大降低数据库性能
- 类似于性别这类区分不大的属性，建立索引是没有意义的，不能有效过滤数据
- 一般区分度在80%以上就可以建立索引，区分度公式：列区分度=count(distinct(列名)/count(*)
建立索引的列不存null值
需要join表时，不要超过三张表
能使用limit,尽量使用limit
单表索引建议控制在5个以内，组合索引不超过5个字段

创建索引应当避免以下错误思想：

索引越多越好
过早优化，在不了解系统的情况下进行优化

索引监控

show status like ‘Handler_read%’;

Handler_read_first：读取索引第一个条目的次数
Handler_read_key：通过index获取数据的次数
Handler_read_last：读取索引最后一个条目的次数
Handler_read_next：通过索引读取下一条数据的次数
Handler_read_prev：通过索引读取上一条数据的次数
Handler_read_rnd：从固定位置读取数据的次数
Handler_read_rnd_next：从数据节点读取下一条数据的次数

简单案例

索引优化分析案例

预先准备好数据

SET FOREIGN_KEY_CHECKS=0;
DROP TABLE IF EXISTS `itdragon_order_list`;
CREATE TABLE `itdragon_order_list` (
  `id` bigint(11) NOT NULL AUTO_INCREMENT COMMENT '主键id，默认自增长',
  `transaction_id` varchar(150) DEFAULT NULL COMMENT '交易号',
  `gross` double DEFAULT NULL COMMENT '毛收入(RMB)',
  `net` double DEFAULT NULL COMMENT '净收入(RMB)',
  `stock_id` int(11) DEFAULT NULL COMMENT '发货仓库',
  `order_status` int(11) DEFAULT NULL COMMENT '订单状态',
  `descript` varchar(255) DEFAULT NULL COMMENT '客服备注',
  `finance_descript` varchar(255) DEFAULT NULL COMMENT '财务备注',
  `create_type` varchar(100) DEFAULT NULL COMMENT '创建类型',
  `order_level` int(11) DEFAULT NULL COMMENT '订单级别',
  `input_user` varchar(20) DEFAULT NULL COMMENT '录入人',
  `input_date` varchar(20) DEFAULT NULL COMMENT '录入时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=10003 DEFAULT CHARSET=utf8;
INSERT INTO itdragon_order_list VALUES ('10000', '81X97310V32236260E', '6.6', '6.13', '1', '10', 'ok', 'ok', 'auto', '1', 'itdragon', '2017-08-28 17:01:49');
INSERT INTO itdragon_order_list VALUES ('10001', '61525478BB371361Q', '18.88', '18.79', '1', '10', 'ok', 'ok', 'auto', '1', 'itdragon', '2017-08-18 17:01:50');
INSERT INTO itdragon_order_list VALUES ('10002', '5RT64180WE555861V', '20.18', '20.17', '1', '10', 'ok', 'ok', 'auto', '1', 'itdragon', '2017-09-08 17:01:49');

逐步开始进行优化：

第一个案例：

select * from itdragon_order_list where transaction_id = "81X97310V32236260E";
--通过查看执行计划发现type=all,需要进行全表扫描
explain select * from itdragon_order_list where transaction_id = "81X97310V32236260E";
--优化一、为transaction_id创建唯一索引
 create unique index idx_order_transaID on itdragon_order_list (transaction_id);
--当创建索引之后，唯一索引对应的type是const，通过索引一次就可以找到结果，普通索引对应的type是ref，表示非唯一性索引赛秒，找到值还要进行扫描，直到将索引文件扫描完为止，显而易见，const的性能要高于ref
 explain select * from itdragon_order_list where transaction_id = "81X97310V32236260E";
 --优化二、使用覆盖索引，查询的结果变成 transaction_id,当extra出现using index,表示使用了覆盖索引
 explain select transaction_id from itdragon_order_list where transaction_id = "81X97310V32236260E";

第二个案例

--创建复合索引
create index idx_order_levelDate on itdragon_order_list (order_level,input_date);
--创建索引之后发现跟没有创建索引一样，都是全表扫描，都是文件排序
explain select * from itdragon_order_list order by order_level,input_date;
--可以使用force index强制指定索引
explain select * from itdragon_order_list force index(idx_order_levelDate) order by order_level,input_date;
--其实给订单排序意义不大，给订单级别添加索引意义也不大，因此可以先确定order_level的值，然后再给input_date排序
explain select * from itdragon_order_list where order_level=3 order by input_date;

【精品】MySQL调优2：索引优化和查询优化