数据库优化维度有四个：
硬件升级、系统配置、表结构设计、SQL语句及索引。
image.png
优化选择：
优化成本：硬件升级>系统配置>表结构设计>SQL语句及索引。
优化效果：硬件升级<系统配置<表结构设计<SQL语句及索引。

1. 系统配置优化

1.1 保证从内存中读取数据

MySQL会在内存中保存一定的数据，通过LRU算法将不常访问的数据保存在硬盘文件中。
尽可能的扩大内存中的数据量，将数据保存在内存中，从内存中读取数据，可以提升MySQL性能。
扩大innodb_buffer_pool_size，能够全然从内存中读取数据。最大限度降低磁盘操作。
确定innodb_buffer_pool_size足够大的方法：
image.png
innodb_buffer_pool_size默认为128M，理论上可以扩大到内存的3/4或4/5。
修改my.cnf
innodb_buffer_pool_size = 750M
如果是专用的MySQL Server可以禁用SWAP
image.png

1.2 数据预热

默认情况，仅仅有某条数据被读取一次，才会缓存在innodb_buffer_pool。
所以，数据库刚刚启动，须要进行数据预热，将磁盘上的全部数据缓存到内存中。
数据预热能够提高读取速度。
1、对于InnoDB数据库，进行数据预热的脚本是:

  1. SELECT DISTINCT CONCAT('SELECT ', ndxcollist,
  2.     ' FROM ',db,'.',tb, ' ORDER BY ',ndxcollist,';')
  4.     SelectQueryToLoadCache FROM (
  5.         SELEC tengine,table_schema db,
  6.             table_name tb,
  7.             index_name,
  8.             GROUP_CONCAT(column_name ORDER BY seq_in_index)
  9.                 ndxcollist FROM (
  10.             SELECTB.engine,A.table_schema,
  11.             A.table_name, A.index_name,A.column_name,
  12.             A.seq_in_index FROM information_schema.statistics A 
  13.             INNER JOIN ( SELECT engine,
  14.             table_schema,table_name 
  15.             FROM information_schema.tables WHERE engine='InnoDB' )
  16.             B USING (table_schema,table_name) 
  17.             WHERE B.table_schema NOT IN ('information_schema','mysql') 
  18.             ORDER BY table_schema,
  19.             table_name,index_name,seq_in_index )
  20.             A GROUP BY table_schema,table_name,index_name ) AA
  21. ORDER BY db,tb;

将该脚本保存为：loadtomem.sql
2、执行命令：

  1. mysql -uroot -proot -AN < /root/loadtomem.sql > /root/loadtomem.sql

3、在需要数据预热时，比如重启数据库
执行命令：

  1. mysql -uroot < /root/loadtomem.sql > /dev/null 2>&1

1.3 降低磁盘写入次数

  • 增大redolog，减少落盘次数

innodb_log_file_size设置为0.25 * innodb_buffer_pool_size

  • 通用查询日志、慢查询日志可以不开 ，bin-log开

生产中不开通用查询日志，遇到性能问题开慢查询日志

  • 写redolog策略innodb_flush_log_at_trx_commit设置为0或2

如果不涉及非常高的安全性(金融系统)，或者基础架构足够安全，或者事务都非常小，都能够用0或者2来减少磁盘操作。

1.4 提高磁盘读写性能

使用SSD或者内存磁盘

2. 表结构设计优化

2.1 设计中间表

设计中间表，一般针对于统计分析功能，或者实时性不高的需求（OLTP、OLAP）

2.2 设计冗余字段

为减少关联查询，创建合理的冗余字段（创建冗余字段还需要注意数据一致性问题）

2.3 拆表

对于字段太多的大表，考虑拆表（比如一个表有100多个字段）
对于表中经常不被使用的字段或者存储数据比较多的字段，考虑拆表

2.4 主键优化

每张表建议都要有一个主键（主键索引），而且主键类型最好是int类型，建议自增主键（不考虑分布式系统的情况下雪花算法）。

2.5 字段的设计

数据库中的表越小，在它上面执行的查询也就会越快。
因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。
尽量把字段设置为NOTNULL，这样在将来执行查询的时候，数据库不用去比较NULL值。
对于某些文本字段，例如“省份”或者“性别”，我们可以将它们定义为ENUM类型。因为在MySQL中，ENUM类型被当作数值型数据来处理，而数值型数据被处理起来的速度要比文本类型快得多。这样，我们又可以提高数据库的性能。
能用数字的用数值类型
sex 1 0

3. SQL语句及索引优化

设计一个表：tbiguser

  1. create table tbiguser(
  2.     id int primary key auto_increment,
  3.     nickname varchar(255),
  4.     loginname varchar(255),
  5.     age int ,
  6.     sex char(1),
  7.     status int,
  8.     address varchar(255)
  9. );

向该表中写入10000000条数据

  2. CREATE PROCEDURE test_insert()
  3. BEGIN DECLARE i INT DEFAULT 1;
  4. WHILE i<=10000000
  5.     DO
  6.     insert into tbiguser VALUES(null,concat('zy',i),concat('zhaoyun',i),23,'1',1,'beijing');
  7.     SET i=i+1;
  8.     END WHILE ;
  9. commit;
  10. END;

执行该存储过程 call test_insert();
可以插入10000000条数据
image.png

3.1 EXPLAIN查看索引使用情况

使用【慢查询日志】功能，去获取所有查询时间比较长的SQL语句3秒-5秒
使用explain查看有问题的SQL的执行计划，重点查看索引使用情况
image.png
type列，连接类型。一个好的SQL语句至少要达到range级别。杜绝出现all级别。index
key列，使用到的索引名。如果没有选择索引，值是NULL。可以采取强制索引方式。
key_len列，索引长度。
rows列，扫描行数。该值是个预估值。
extra列，详细说明。注意，常见的不太友好的值，如下：Using filesort，Using temporary。
常见的索引：
where字段 、组合索引 （最左前缀） 、 索引下推 （非选择行不加锁） 、覆盖索引（不回表）on两边、排序 、分组统计

3.2 SQL语句中IN包含的值不应过多

MySQL对于IN做了相应的优化，即将IN中的常量全部存储在一个数组里面，而且这个数组是排好序的。但是如果数值较多，产生的消耗也是比较大的。

3.3 SELECT语句务必指明字段名称

SELECT *增加很多不必要的消耗（CPU、IO、内存、网络带宽）；减少了使用覆盖索引的可能性；当表结构发生改变时，前端也需要更新。所以要求直接在select后面接上字段名。
image.png
image.png

3.4 当只需要一条数据的时候，使用limit 1

limit是可以停止全表扫描的
image.png

3.5 排序字段加索引

image.png
image.png

3.6 如果限制条件中其他字段没有索引，尽量少用or

or两边的字段中，如果有一个不是索引字段，会造成该查询不走索引的情况。
image.png

3.7 尽量用union all代替union

union和union all的差异主要是前者需要将结果集合并后再进行唯一性过滤操作，这就会涉及到排序，增加大量的CPU运算，加大资源消耗及延迟。当然，union all的前提条件是两个结果集没有重复数据。

3.8 不使用ORDER BY RAND()

ORDER BY RAND()不走索引
image.png
image.png

3.9 区分in和exists、not in和not exists

  1. 区分in和exists主要是造成了驱动顺序的改变（这是性能变化的关键），如果是exists，那么以外层表为驱动表，先被访问，如果是IN，那么先执行子查询。所以IN适合于外表大而内表小的情况；EXISTS适合于外表小而内表大的情况。
  3.  关于not in和not exists，推荐使用not exists，不仅仅是效率问题，not in可能存在逻辑问题。如何高效的写出一个替代not exists的SQL语句？<br />![image.png](https://cdn.nlark.com/yuque/0/2021/png/12497888/1620128361513-93a8a3b6-66fd-46d7-96d4-018b28ea74b2.png#clientId=u8b672b82-4720-4&crop=0&crop=0&crop=1&crop=1&from=paste&height=195&id=uf0dfdc7f&margin=%5Bobject%20Object%5D&name=image.png&originHeight=390&originWidth=1418&originalType=binary&ratio=1&rotation=0&showTitle=false&size=52771&status=done&style=none&taskId=u0a7eaf50-1462-468c-bfb0-18fd583fa2d&title=&width=709)

3.10 使用合理的分页方式以提高分页的效率

分页使用limit m,n尽量让m小
利用主键的定位，可以减小m的值
image.png

3.11 分段查询

一些用户选择页面中，可能一些用户选择的范围过大，造成查询缓慢。主要的原因是扫描行数过多。这个时候可以通过程序，分段进行查询，循环遍历，将结果合并处理进行展示。

3.12 不建议使用%前缀模糊查询

例如LIKE“%name”或者LIKE“%name%”，这种查询会导致索引失效而进行全表扫描。但是可以使用LIKE “name%”。
那么如何解决这个问题呢，答案：使用全文索引或ES全文检索

3.13 避免在where子句中对字段进行表达式操作

  1. select user_id,user_project from user_base where age*2=36;

中对字段就行了算术运算，这会造成引擎放弃使用索引，建议改成：

  1. select user_id,user_project from user_base where age=36/2;

3.14 避免隐式类型转换

where子句中出现column字段的类型和传入的参数类型不一致的时候发生的类型转换，建议先确定where中的参数类型。where age=’18’

3.15 对于联合索引来说，要遵守最左前缀法则

举列来说索引含有字段id、name、school，可以直接用id字段，也可以id、name这样的顺序，但是name;school都无法使用这个索引。所以在创建联合索引的时候一定要注意索引字段顺序，常用的查询字段放在最前面。

3.16 必要时可以使用force index来强制查询走某个索引

有的时候MySQL优化器采取它认为合适的索引来检索SQL语句，但是可能它所采用的索引并不是我们想要的。这时就可以采用forceindex来强制优化器使用我们制定的索引。

3.17 注意范围查询语句

对于联合索引来说，如果存在范围查询，比如between、>、<等条件时，会造成后面的索引字段失效。

3.18 使用JOIN优化

LEFT JOIN A表为驱动表，INNER JOIN MySQL会自动找出那个数据少的表作用驱动表，RIGHT JOIN B表为驱动表。
注意：
1）MySQL中没有full join，可以用以下方式来解决：

  1. select * from A left join B on B.name = A.namewhere B.name is null union all select * from B;

2）尽量使用inner join，避免left join：
参与联合查询的表至少为2张表，一般都存在大小之分。如果连接方式是inner join，在没有其他过滤条件的情况下MySQL会自动选择小表作为驱动表，但是left join在驱动表的选择上遵循的是左边驱动右边的原则，即left join左边的表名为驱动表。
3）合理利用索引：
被驱动表的索引字段作为on的限制字段。
4）利用小表去驱动大表：
image.png
从原理图能够直观的看出如果能够减少驱动表的话，减少嵌套循环中的循环次数，以减少IO总量及CPU运算的次数。

4. MySQL开发规约

我们知道各大公司都有自己的MySQL开发规约，我们以阿里为例，阿里的MySQL开发规约如下：

4.1 建表规约

1、【强制】表达是与否概念的字段，必须使用is_xxx的方式命名，数据类型是unsigned tinyint（1表示是，0表示否）。
说明：任何字段如果为非负数，必须是unsigned。
注意：POJO类中的任何布尔类型的变量，都不要加is前缀，所以，需要在设置从is_xxx到Xxx的映射关系。数据库表示是与否的值，使用tinyint类型，坚持is_xxx的命名方式是为了明确其取值含义与取值范围。
正例：表达逻辑删除的字段名is_deleted，1表示删除，0表示未删除。

2、【强制】表名、字段名必须使用小写字母或数字，禁止出现数字开头，禁止两个下划线中间只出现数字。数据库字段名的修改代价很大，因为无法进行预发布，所以字段名称需要慎重考虑。
说明：MySQL在Windows下不区分大小写，但在Linux下默认是区分大小写。因此，数据库名、
表名、字段名，都不允许出现任何大写字母，避免节外生枝。
正例：aliyun_admin，rdc_config，level3_name
反例：AliyunAdmin，rdcConfig，level_3_name

3、【强制】表名不使用复数名词。
说明：表名应该仅仅表示表里面的实体内容，不应该表示实体数量，对应于DO类名也是单数形式，符合表达习惯。

4、【强制】禁用保留字，如desc、range、match、delayed等，请参考MySQL官方保留字。

5、【强制】主键索引名为pk字段名；唯一索引名为uk字段名；普通索引名则为idx字段名。
说明：pk即primary key；uk即unique key；idx即index的简称。

6、【强制】小数类型为decimal，禁止使用float和double。
说明：float和double在存储的时候，存在精度损失的问题，很可能在值的比较时，得到不正确的结果。如果存储的数据范围超过decimal的范围，建议将数据拆成整数和小数分开存储。

7、【强制】如果存储的字符串长度几乎相等，使用char定长字符串类型。
8、【强制】varchar是可变长字符串，不预先分配存储空间，长度不要超过5000，如果存储长度大于此值，定义字段类型为text，独立出来一张表，用主键来对应，避免影响其它字段索引效率。

9、 【强制】表必备三字段：id, gmt_create, gmt_modified。
说明：其中id必为主键，类型为bigint unsigned、单表时自增、步长为1。gmt_create, gmt_modified的类型均为datetime类型，前者现在时表示主动创建，后者过去分词表示被动更新。

10、【推荐】表的命名最好是加上“业务名称_表的作用”。
正例：alipay_task / force_project / trade_config
11、【推荐】库名与应用名称尽量一致。
12、【推荐】如果修改字段含义或对字段表示的状态追加时，需要及时更新字段注释。
13、【推荐】字段允许适当冗余，以提高查询性能，但必须考虑数据一致。冗余字段应遵循：
1）不是频繁修改的字段。
2）不是varchar超长字段，更不能是text字段。
正例：商品类目名称使用频率高，字段长度短，名称基本一成不变，可在相关联的表中冗余存储类目名称，避免关联查询。

14、【推荐】单表行数超过500万行或者单表容量超过2GB，才推荐进行分库分表。
说明：如果预计三年后的数据量根本达不到这个级别，请不要在创建表时就分库分表。
15、【参考】合适的字符存储长度，不但节约数据库表空间、节约索引存储，更重要的是提升检索速度。
正例：如下表，其中无符号值可以避免误存负数，且扩大了表示范围。
image.png

4.2 索引规约

1、【强制】业务上具有唯一特性的字段，即使是多个字段的组合，也必须建成唯一索引。
说明：不要以为唯一索引影响了insert速度，这个速度损耗可以忽略，但提高查找速度是明显的；另外，即使在应用层做了非常完善的校验控制，只要没有唯一索引，根据墨菲定律，必然有脏数据产生。

2、【强制】三个表以上禁止join。需要join的字段，数据类型必须绝对一致；多表关联查询时，保证被关联的字段需要有索引。
说明：即使双表join也要注意表索引、SQL性能。

3、【强制】在varchar字段上建立索引时，必须指定索引长度，没必要对全字段建立索引，根据实际文本区分度决定索引长度即可。
说明：索引的长度与区分度是一对矛盾体，一般对字符串类型数据，长度为20的索引，区分度会高达90%以上，可以使用count(distinct left(列名,索引长度))/count(*)的区分度来确定。

4、【强制】页面搜索严禁左模糊或者全模糊，如果需要请走搜索引擎来解决。
说明：索引文件具有B-Tree的最左前缀匹配特性，如果左边的值未确定，那么无法使用此索引。

5、【推荐】如果有order by的场景，请注意利用索引的有序性。order by最后的字段是组合索引的一部分，并且放在索引组合顺序的最后，避免出现file_sort的情况，影响查询性能。
正例：where a=? and b=? order by c;索引：a_b_c
反例：索引中有范围查找，那么索引有序性无法利用，如：WHERE a>10 ORDER BY b;索引a_b无法排序。

6、【推荐】利用覆盖索引来进行查询操作，避免回表。
说明：如果一本书需要知道第11章是什么标题，会翻开第11章对应的那一页吗？目录浏览一下就好，这个目录就是起到覆盖索引的作用。
正例：能够建立索引的种类分为主键索引、唯一索引、普通索引三种，而覆盖索引只是一种查询的一种效果，用explain的结果，extra列会出现：using index。

7、【推荐】利用延迟关联或者子查询优化超多分页场景。
说明：MySQL并不是跳过offset行，而是取offset+N行，然后返回放弃前offset行，返回N行，那当offset特别大的时候，效率就非常的低下，要么控制返回的总页数，要么对超过特定阈值的页数进行SQL改写。
正例：先快速定位需要获取的id段，然后再关联：
SELECT a.* FROM表1 a, (select id from表1 where条件LIMIT 100000,20 ) b where a.id=b.id

8、【推荐】SQL性能优化的目标：至少要达到range级别，要求是ref级别，如果可以是consts最好。
说明：
1）consts单表中最多只有一个匹配行（主键或者唯一索引），在优化阶段即可读取到数据。
2）ref指的是使用普通的索引（normal index）。
3）range对索引进行范围检索。
反例：explain表的结果，type=index，索引物理文件全扫描，速度非常慢，这个index级
别比较range还低，与全表扫描是小巫见大巫。
9、【推荐】建组合索引的时候，区分度最高的在最左边
正例：如果where a=? and b=?，如果a列的几乎接近于唯一值，那么只需要单建idx_a索引即可。
说明：存在非等号和等号混合时，在建索引时，请把等号条件的列前置。如：where c>? and
d=?那么即使c的区分度更高，也必须把d放在索引的最前列，即索引idx_d_c。
10、【推荐】防止因字段类型不同造成的隐式转换，导致索引失效。
11、 【参考】创建索引时避免有如下极端误解
1）宁滥勿缺。认为一个查询就需要建一个索引。
2）宁缺勿滥。认为索引会消耗空间、严重拖慢更新和新增速度。
3）抵制惟一索引。认为业务的惟一性一律需要在应用层通过“先查后插”方式解决。

4.3 SQL语句

1、【强制】不要使用count(列名)或count(常量)来替代count()，count()是SQL92定义的标准统计行数的语法， 跟数据库无关，跟NULL和非NULL无关。
说明：count(*)会统计值为NULL的行，而count(列名)不会统计此列为NULL值的行。

2、【强制】count(distinct col)计算该列除NULL之外的不重复行数，注意count(distinct col1, col2)如果其中一 列全为NULL，那么即使另一列有不同的值，也返回为0。

3、【强制】当某一列的值全是NULL时，count(col)的返回结果为0，但sum(col)的返回结果为NULL，因此使用sum()时需注意NPE (Null Pointer Exception)问题。
正例：可以使用如下方式来避免sum的NPE问题：SELECT IF(ISNULL(SUM(g)),0,SUM(g))FROM table;

4、【强制】使用ISNULL()来判断是否为NULL值。
说明：NULL与任何值的直接比较都为NULL。
1）NULL<>NULL的返回结果是NULL，而不是false。
2）NULL=NULL的返回结果是NULL，而不是true。
3）NULL<>1的返回结果是NULL，而不是true。
5、 【强制】在代码中写分页查询逻辑时，若count为0应直接返回，避免执行后面的分页语句。
6、【强制】不得使用外键与级联，一切外键概念必须在应用层解决。
说明：以学生和成绩的关系为例，学生表中的student_id是主键，那么成绩表中的student_id则为外键。如果更新学生表中的student_id，同时触发成绩表中的student_id更新，即为级联更新。外键与级联更新适用于单机低并发，不适合分布式、高并发集群；级联更新是强阻塞，存在数据库更新风暴的风险；外键影响数据库的插入速度。

7、【强制】禁止使用存储过程，存储过程难以调试和扩展，更没有移植性。
8、【强制】数据订正（特别是删除、修改记录操作）时，要先select，避免出现误删除，确认无误才能执行更新 语句。
9、【推荐】in操作能避免则避免，若实在避免不了，需要仔细评估in后边的集合元素数量，控制在1000个之内。
10、【参考】如果有国际化需要，所有的字符存储与表示，均以utf-8编码，注意字符统计函数的区别。
说明：
SELECT LENGTH(“轻松工作”)； 返回为12
SELECT CHARACTER_LENGTH(“轻松工作”)； 返回为4
如果需要存储表情，那么选择utf8mb4来进行存储，注意它与utf-8编码的区别。

11、【参考】TRUNCATE TABLE比DELETE速度快，且使用的系统和事务日志资源少，但TRUNCATE无事务且不触发trigger，有可能造成事故，故不建议在开发代码中使用此语句。
说明：TRUNCATE TABLE在功能上与不带WHERE子句的DELETE语句相同

4.4 ORM映射

1.【强制】在表查询中，一律不要使用*作为查询的字段列表，需要哪些字段必须明确写明。
说明：1）增加查询分析器解析成本。2）增减字段容易与resultMap配置不一致。3）无用字段增加网络消耗，尤其是text类型的字段。

2.【强制】POJO类的布尔属性不能加is，而数据库字段必须加is_，要求在resultMap中进行字段与属性之间的映射。
说明：参见定义POJO类以及数据库字段定义规定，在中增加映射，是必须的。
在MyBatis Generator生成的代码中，需要进行对应的修改。

3.【强制】不要用resultClass当返回参数，即使所有类属性名与数据库字段一一对应，也需要定义；反过来，每一个表也必然有一个POJO类与之对应。
说明：配置映射关系，使字段与DO类解耦，方便维护。

4.【强制】sql.xml配置参数使用：#{}，#param#不要使用${}此种方式容易出现SQL注入。
5.【强制】iBATIS自带的queryForList(String statementName,int start,int size)不推荐使用。
说明：其实现方式是在数据库取到statementName对应的SQL语句的所有记录，再通过subList取start,size的子集合。
正例：Map map = new HashMap<>();
map.put(“start”, start);
map.put(“size”, size);

6.【强制】不允许直接拿HashMap与Hashtable作为查询结果集的输出。
说明：resultClass=”Hashtable”，会置入字段名和属性值，但是值的类型不可控。
7.【强制】更新数据表记录时，必须同时更新记录对应的gmt_modified字段值为当前时间。
8.【推荐】不要写一个大而全的数据更新接口。传入为POJO类，不管是不是自己的目标更新字段，都进行update table set c1=value1,c2=value2,c3=value3;这是不对的。执行SQL时，不要更新无改动的字段，一是易出错；二是效率低；三是增加binlog存储。
9.【参考】@Transactional事务不要滥用。事务会影响数据库的QPS，另外使用事务的地方需要考虑各方面的回滚方案，包括缓存回滚、搜索引擎回滚、消息补偿、统计修正等。
10.【参考】中的compareValue是与属性值对比的常量，一般是数字，表示相等时带上此条件；表示不为空且不为null时执行；表示不为null值时执行。

5. 复杂SQL优化实战

优化案例
前面用过的tbiguser表有10000000条记录
创建tuser1表和tuser2表，并初始化若干的数据。
image.png
可以看到tuser1和tuser2表有重复的数据。
需求：tbiguser表按照地区分组统计求和，要求是在tuser1表和tuser2表中出现过的地区
按照需求写出SQL：
image.png
通过explain可以看到：
image.png
type:为ALL说明没有索引，全表扫描
Using temporary：说明使用了临时表
Using filesort：说明使用了文件排序
Using where：没有索引下推，在Server层进行了全表扫描和过滤
Using join buffer(Block Nested Loop)：关联没有索引，有关联优化
第一次优化：
给address加索引
image.png
image.png
type：index，说明用到了索引 ： 覆盖索引
Using temporary：有临时表
Using where：没有索引下推，在Server层进行了全表扫描和过滤
第二次优化：
image.png
image.png
type：index
没有了临时表
第三次优化：
从前面的执行计划可以看出，索引只是使用了覆盖索引，rows=9754360， 说明还是几乎扫描了全表的行
利用address索引，先过滤数据
image.png
image.png
type：ref
rows：2438590
说明使用了address索引做关联
同理：
image.png
type：ref
rows：2438590
说明使用了address索引做关联
合并结果集后再分组求和
image.png
DERIVED：派生表
最终优化
将派生表写成视图
image.png
优化结果：从最初的将近14秒优化到不到1秒。
优化总结：

  • 开启慢查询日志，定位运行慢的SQL语句
  • 利用explain执行计划，查看SQL执行情况
  • 关注索引使用情况：type
  • 关注Rows：行扫描
  • 关注Extra：没有信息最好
  • 加索引后，查看索引使用情况，index只是覆盖索引，并不算很好的使用索引
  • 如果有关联尽量将索引用到eq_ref或ref级别
  • 复杂SQL可以做成视图，视图在MySQL内部有优化，而且开发也比较友好
  • 对于复杂的SQL要逐一分析，找到比较费时的SQL语句片段进行优化