索引的创建和设计原则

索引的分类

从 功能逻辑 上说，索引主要有 4 种，分别是普通索引、唯一索引、主键索引、全文索引。按照 物理实现方式 ，索引可以分为 2 种：聚簇索引和非聚簇索引。按照 作用字段个数 进行划分，分成单列索引和联合索引。

普通索引

在创建普通索引时，不附加任何限制条件，只是用于提高查询效率。这类索引可以创建在任何数据类型中，其值是否唯一和非空，要由字段本身的完整性约束条件决定。建立索引以后，可以通过索引进行查询。例如，在表student的字段name上建立一个普通索引，查询记录时就可以根据该索引进行查询。

唯一索引

使用UNIQUE参数可以设置索引为唯一性索引，在创建唯一性索引时，限制该索引的值必须是唯一的，但允许有空值。在一张数据表里可以有多个唯一索引。

主键索引

主键索引就是一种特殊的唯一性索引，在唯一索引的基础上增加了不为空的约束，也就是NOT NULL+UNIQUE，一张表里最多只有—个主键索引。

单列索引

在表中的单个字段上创建索引。单列索引只根据该字段进行索引。单列索引可以是普通索引，也可以是唯一性索引，还可以是全文索引。只要保证该索引只对应一个字段即可。一个表可以有多个单列索引。

多列索引

多列索引是在表的多个字段组合上创建一个索引。该索引指向创建时对应的多个字段，可以通过这几个字段进行查询，但是只有查询条件中使用了这些字段中的第一个字段时才会被使用。例如，在表中的字段id、name和gender上建立一个多列索引idx_id_name_gender，只有在查询条件中使用了字段id时该索引才会被使用。使用组合索引时遵循最左前缀集合。

全文索引

全文索引(也称全文检索）是目前搜索引擎使用的一种关键技术。它能够利用【分词技术】等多种算法智能分析出文本文字中关键词的频率和重要性，然后按照一定的算法规则智能地筛选出我们想要的搜索结果。常适合大型数据集，对于小的数据集，它的用处比较小。

此时已被elasticsearch等搜索中间件代替。

空间索引

使用参数SPATIAL可以设置索引为空间索引。空间索引只能建立在空间数据类型上，这样可以提高系统获取空间数据的效率。MySQL中的空间数据类型包括GEOMETRY、POINT、LINESTRING和POLYGON等。目前只有MylISAM存储引擎支持空间检索，而且索引的字段不能为空值。对于初学者来说，这类索引很少会用到。

小结：

不同的存储引擎支持的索引类型也不一样

  • InnoDB ：支持 B-tree、Full-text 等索引，不支持 Hash索引；
  • MyISAM ： 支持 B-tree、Full-text 等索引，不支持 Hash 索引；
  • Memory ：支持 B-tree、Hash 等索引，不支持 Full-text 索引；
  • NDB ：支持 Hash 索引，不支持 B-tree、Full-text 等索引；
  • Archive ：不支持 B-tree、Hash、Full-text 等索引；

创建索引

  • 在创建表时创建索引 

    1. CREATE TABLE table_name [col_name data_type] 
    2. [UNIQUE | FULLTEXT | SPATIAL] [INDEX | KEY] [index_name] (col_name1 [length]，cpl_name2 [length， ... [ASC | DESC]
    • UNIQUE 、 FULLTEXT 和 SPATIAL 为可选参数，分别表示唯一索引、全文索引和空间索引；
    • INDEX 与 KEY 为同义词，两者的作用相同，用来指定创建索引；
    • index_name 指定索引的名称，为可选参数，如果不指定，那么MySQL默认col_name为索引名；
    • col_name 为需要创建索引的字段列，该列必须从数据表中定义的多个列中选择，列值可以选择多列，此时创建的是联合索引；
    • length 为可选参数，表示索引的长度，只有字符串类型的字段才能指定索引长度；
    • ASC 或 DESC 指定升序或者降序的索引值存储。

注意：设定为主键后数据库会自动建立索引，innodb为聚簇索引，修改主键索引：必须先删除掉(drop)原索引，再新建(add)索引，
如果此时主键是自增，删除主键索引会报错。
索引的创建和设计原则 - 图1

  • 在已有的表上创建索引

    • 使用ALTER TABLE语句创建索引ALTER TABLE语句创建索引的基本语法如下： 

      1. ALTER TABLE table_name ADD [UNIQUE | FULLTEXT | SPATIAL] [INDEX | KEY] [index_name] (col_name[length],...) [ASC | DESC]

    • 使用CREATE INDEX创建索引CREATE INDEX语句可以在已经存在的表上添加索引 

      1. CREATE [UNIQUE | FULLTEXT | SPATIAL] INDEX index_name ON table_name (col_name[length],...) [ASC | DESC]

删除索引

  • 使用ALTER TABLE删除索引ALTER TABLE删除索引的基本语法格式如下： 

    1. ALTER TABLE table_name DROP INDEX 索引名;

  • 使用DROP INDEX语句删除索引DROP INDEX删除索引的基本语法格式如下： 

    1. DROP INDEX 索引名 ON table_name;

提示：删除表中的列时，如果要删除的列为索引的组成部分，则该列也会从索引中删除。如果组成索引的所有列都被删除，则整个索引将被删除。

MySQL8.0索引新特性

支持降序索引

在创建索引时，可以设置为降序，此时在B+Tree中回按照降序排列。当order by 查找降序排列的行时，回加快查询速度。

  1. CREATE TABLE ts1(a int,b int,index idx_a_b(a,b desc));

例如：此时会加快查询速度

  1. EXPLAIN SELECT * FROM ts1 ORDER BY a DESC,b DESC LIMIT 5;

隐藏索引

在MySQL 5.7版本及之前，只能通过显式的方式删除索引。此时，如果发现删除索引后出现错误，又只能通过显式创建索引的方式将删除的索引创建回来。如果数据表中的数据量非常大，或者数据表本身比较大，这种操作就会消耗系统过多的资源，操作成本非常高。

从MySQL 8.x开始支持 隐藏索引（invisible indexes） ，只需要将待删除的索引设置为隐藏索引，使查询优化器不再使用这个索引（即使使用force index（强制使用索引），优化器也不会使用该索引），确认将索引设置为隐藏索引后系统不受任何响应，就可以彻底删除索引。 这种通过先将索引设置为隐藏索引，再删除索引的方式就是软删除 。

注意使用关键字 INVISIBLE 来表示隐藏索引。

  • 创建表时直接创建 

    1. CREATE TABLE tablename( 
    2. propname1 type1[CONSTRAINT1], 
    3. propname2 type2[CONSTRAINT2], 
    4. ……
    5. propnamen typen, 
    6. INDEX [indexname](propname1 [(length)]) INVISIBLE 
    7. );

  • 在已有的表上创建 

    1. CREATE INDEX indexname ON tablename(propname[(length)]) INVISIBLE;

  • 通过ALTER TABLE 语句创建 

    1. ALTER TABLE tablename ADD INDEX indexname (propname [(length)]) INVISIBLE;

  • 切换索引可见状态 已存在的索引可通过如下语句切换可见状态 

    1. ALTER TABLE tablename ALTER INDEX index_name INVISIBLE; #切换成隐藏索引 
    2. ALTER TABLE tablename ALTER INDEX index_name VISIBLE; #切换成非隐藏索引

注意：当索引被隐藏时，它的内容仍然是和正常索引一样实时更新的。如果一个索引需要长期被隐藏，那么可以将其删除，因为索引的存在会影响插入、更新和删除的性能。通过设置隐藏索引的可见性可以查看索引对调优的帮助。

  • 使隐藏索引对查询优化器可见
    在MySQL 8.x版本中，为索引提供了一种新的测试方式，可以通过查询优化器的一个开关（use_invisible_indexes）来打开某个设置，使隐藏索引对查询优化器可见。如果 use_invisible_indexes设置为off(默认)，优化器会忽略隐藏索引。如果设置为on，即使隐藏索引不可见，优化器在生成执行计划时仍会考虑使用隐藏索引。
    在MySQL命令行执行如下命令查看查询优化器的开关设置：
    索引的创建和设计原则 - 图2此属性配置值为off，说明隐藏索引默认对查询优化器不可见。
    使隐藏索引对查询优化器可见，需要在MySQL命令行执行如下命令： 
    1. select @@optimizer_switch \G
    1. set session optimizer_switch="use_invisible_indexes=on";

索引的设计原则

哪些字段需要建设索引

字段的数值有唯一性的限制

业务上具有唯一特性的字段，即使是组合字段，也必须建成唯一索引。（来源：Alibaba）说明：不要以为唯一索引影响了 insert 速度，这个速度损耗可以忽略，但提高查找速度是明显的。

频繁作为WHERE查询条件的字段

某个字段在SELECT语句的 WHERE 条件中经常被使用到，那么就需要给这个字段创建索引了。尤其是在数据量大的情况下，创建普通索引就可以大幅提升数据查询的效率。

经常GROUP BY和ORDER BY的列

索引就是让数据按照某种顺序进行存储或检索，因此当我们使用 GROUP BY 对数据进行分组查询，或者使用 ORDER BY 对数据进行排序的时候，就需要 对分组或者排序的字段进行索引 。如果待排序的列有多个，那么可以在这些列上建立 组合索引 。

例如：

  1. ALTER TABLE student_info ADD INDEX idx_cid_lid(course_id, class_id DESC);

将group by 的字段和 order by 的字段建立联合索引，此时调用：

  1. EXPLAIN select * FROM student_info 
  2. GROUP BY course_id
  3. ORDER BY class_id DESC;

会发现查询速度很快，会使用联合索引，但如果是：

  1. EXPLAIN select * FROM student_info 
  2. GROUP BY cclass_id
  3. ORDER BY ourse_id DESC;

就不会使用索引进行查询，因为联合索引有最左匹配原则。

UPDATE、DELETE的WHERE条件列

对数据按照某个条件进行查询后再进行 UPDATE 或 DELETE 的操作，如果对 WHERE 字段创建了索引，就能大幅提升效率。原理是因为我们需要先根据 WHERE 条件列检索出来这条记录，然后再对它进行更新或删除。如果进行更新的时候，更新的字段是非索引字段，提升的效率会更明显，这是因为非索引字段更新不需要对索引进行维护。

DISTINCT字段需要创建索引

有时候我们需要对某个字段进行去重，使用 DISTINCT，那么对这个字段创建索引，也会提升查询效率。

多表JOIN连接操作时，创建索引注意事项

首先， 连接表的数量尽量不要超过 3 张 ，因为每增加一张表就相当于增加了一次嵌套的循环，数量级增长会非常快，严重影响查询的效率。

其次， 对 WHERE 条件创建索引 ，因为 WHERE 才是对数据条件的过滤。如果在数据量非常大的情况下，没有 WHERE 条件过滤是非常可怕的。

最后， 对用于连接的字段创建索引 ，并且该字段在多张表中的 类型必须一致 。比如 course_id 在 student_info 表和 course 表中都为 int(11) 类型，而不能一个为 int 另一个为 varchar 类型。

使用列的类型小的创建索引

使用字符串前缀创建索引

创建一张商户表，因为地址字段比较长，在地址字段上建立前缀索引：

  1. create table shop(address varchar(120) not null); 
  2. alter table shop add index(address(12));

问题是，截取多少呢？截取得多了，达不到节省索引存储空间的目的；截取得少了，重复内容太多，字段的散列度(选择性)会降低。怎么计算不同的长度的选择性呢？

先看一下字段在全部数据中的选择度：

  1. select count(distinct address) / count(*) from shop;

通过不同长度去计算，与全表的选择性对比:

  1. count(distinct left(列名, 索引长度))/count(*)

例如：

  1. select count(distinct left(address,10)) / count(*) as sub10, -- 截取前10个字符的选择度 
  2. count(distinct left(address,15)) / count(*) as sub11, -- 截取前15个字符的选择度 
  3. count(distinct left(address,20)) / count(*) as sub12, -- 截取前20个字符的选择度 
  4. count(distinct left(address,25)) / count(*) as sub13 -- 截取前25个字符的选择度
  5. from shop;

索引列前缀对排序的影响:

【 强制 】在 varchar 字段上建立索引时，必须指定索引长度，没必要对全字段建立索引，根据实际文本区分度决定索引长度。

说明：索引的长度与区分度是一对矛盾体，一般对字符串类型数据，长度为 20 的索引，区分度会 高达 90% 以上 ，可以使用 count(distinct left(列名, 索引长度))/count(*)的区分度来确定。

区分度高(散列性高)的列适合作为索引

索引的创建和设计原则 - 图3

使用最频繁的列放到联合索引的左侧

这样也可以较少的建立一些索引。同时，由于”最左前缀原则“，可以增加联合索引的使用率。

在多个字段都要创建索引的情况下，联合索引优于单值索引

限制索引的数目

索引的创建和设计原则 - 图4

索引的列作用了函数会失效

例如建立的索引是varchar类型，你使用int类型去查询，此时存在类型转换，索引会失效。

哪些字段不需要建设索引

在where中使用不到的字段，不要设置索引

WHERE 条件（包括GROUP BY、ORDER BY)里用不到的字段不需要创建索引，索引的价值是快速定位，如果起不到定位的字段通常是不需要创建索引的。

数据量小的表最好不要使用索引

在数据表中的数据行数比较少的情况下，比如不到 1000 行，是不需要创建索引的。

有大量重复数据的列上不要建立索引

例如：要在 100 万行数据中查找其中的 50 万行（比如性别为男的数据），一旦创建了索引，你需要先访问 50 万次索引，然后再访问 50 万次数据表，这样加起来的开销比不使用索引可能还要大。

当数据重复度大，比如 高于 10% 的时候，也不需要对这个字段使用索引。

避免对经常更新的表创建过多的索引

第一层含义:频繁更新的字段不一定要创建索引。因为更新数据的时候，也需要更新索引，如果索引太多，在更新索引的时候也会造成负担，从而影响效率。

第二层含义:避免对经常更新的表创建过多的索引，并且索引中的列尽可能少。此时，虽然提高了查询速度，同时却会降低更新表的速度。

不建议用无序的值作为索引

例如身份证、UUID(在索引比较时需要转为ASCII，并且插入时可能造成页分裂)、MD5、HASH、无序长字符串等。

删除不再使用或者很少使用的索引

不要定义冗余或重复的索引

冗余索引

我们知道，通过 idx_name_birthday_phone_number 索引就可以对 name 列进行快速搜索，再创建一个专门针对 name 列的索引就算是一个 冗余索引 ，维护这个索引只会增加维护的成本，并不会对搜索有什么好处。

重复索引

另一种情况，我们可能会对某个列 重复建立索引 ，比方说这样：

  1. CREATE TABLE repeat_index_demo ( 
  2. col1 INT PRIMARY KEY, 
  3. col2 INT, 
  4. UNIQUE uk_idx_c1 (col1), 
  5. INDEX idx_c1 (col1) 
  6. );

我们看到，col1 既是主键、又给它定义为一个唯一索引，还给它定义了一个普通索引，可是主键本身就会生成聚簇索引，所以定义的唯一索引和普通索引是重复的，这种情况要避免。