CPU占用率过高应该如何去优化

运行show processlist语句,查找负荷最重的SQL语句,进行优化,可以使用explain 语句看看这个SQL语句有没有走索引,如果没有建索引可以考虑适当的在某个字段建立索引,一般选择字段的选择性也就是区分度比较大的,或者字段值比较小的字段建立索引
除了show processlist还可以查慢查询日志,看哪一条SQL执行比较慢,可以将较长的SQL进行拆分,然后再程序中进行合并
如果数据量较大或者并发量较大,可以用搭建集群的方式来做分库分表、读写分离来减轻单个数据库的压力,并保证了数据库的高可用

索引

索引分类:
image.png

  1. 主键索引PRIMARY
    是一种特殊的索引,不允许有空值,在创建表的同时创建主键索引,一个表只能有一个主键索引。
  2. 唯一索引 UNIQUE:唯一索引列的值必须唯一,但允许有空值。如果是组合索引,则列值的组合必须唯一。可以通过ALTER TABLE table_name ADD UNIQUE (column);创建唯一索引:
  3. 唯一组合索引:可以通过ALTER TABLE table_name ADD UNIQUE (column1,column2);创建唯一组合索引
  4. 普通索引 INDEX:这是最基本的索引,它没有任何限制。可以通过ALTER TABLE table_name ADD INDEX index_name (column);创建普通索引:
  5. 组合索引 INDEX:即一个索引包含多个列,多用于避免回表查询。可以通过ALTER TABLE table_name ADD INDEX index_name(column1,column2, column3);创建组合索引:
  6. 全文索引 FULLTEXT:也称全文检索,是目前搜索引擎使用的一种关键技术。可以通过ALTER TABLE table_name ADD FULLTEXT (column);创建全文索引:

索引一经创建不能修改,如果要修改索引,只能删除重建。可以使用

DROP INDEX index_name ON table_name;删除索引。

索引的相关概念(索引优化的前提):

基数:单个列唯一键(distict_keys)的数量叫做基数。
image.png

基数越小说明列内值重复的越多

返回数据的比例:基数所占

有些时候虽然数据库有索引,但是并不被优化器选择使用。我们可以通过SHOW STATUS LIKE ‘Handler_read%’;查看索引的使用情况:
image.png

Handler_read_key:如果索引正在工作则值会很高。

Handler_read_rnd_next:数据文件读取下一行的请求数,如果正进行大量的扫描,该值会很高,且说明索引利用不理想。

EXPLAN

一、 id

我的理解是SQL执行的顺序的标识,SQL从大到小的执行

\1. id相同时,执行顺序由上至下

\2. 如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行

3.id如果相同,可以认为是一组,从上往下顺序执行;在所有组中,id值越大,优先级越高,越先执行

二、select_type

示查询中每个select子句的类型

(1) SIMPLE(简单SELECT,不使用UNION或子查询等)

(2) PRIMARY(查询中若包含任何复杂的子部分,最外层的select被标记为PRIMARY)

(3) UNION(UNION中的第二个或后面的SELECT语句)

(4) DEPENDENT UNION(UNION中的第二个或后面的SELECT语句,取决于外面的查询)

(5) UNION RESULT(UNION的结果)

(6) SUBQUERY(子查询中的第一个SELECT)

(7) DEPENDENT SUBQUERY(子查询中的第一个SELECT,取决于外面的查询)

(8) DERIVED(派生表的SELECT, FROM子句的子查询)

(9) UNCACHEABLE SUBQUERY(一个子查询的结果不能被缓存,必须重新评估外链接的第一行)

如下:

image.png
三、table

有可能是

实际的表名 如select * from t1;

表的别名 如 select * from t2 as tmp;

derived 如from型子查询时(来自于子查询的派生表)

null 直接计算得结果,不用走表,例如select 1+2

显示这一行的数据是关于哪张表的,有时不是真实的表名字,看到的是derivedx(x是个数字,我的理解是第几步执行的结果)

  1. mysql> explain select * from (select * from ( select * from t1 where id=2602) a) b;
  2. +----+-------------+------------+--------+-------------------+---------+---------+------+------+-------+
  3. | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
  4. +----+-------------+------------+--------+-------------------+---------+---------+------+------+-------+
  5. | 1 | PRIMARY | <derived2> | system | NULL | NULL | NULL | NULL | 1 | |
  6. | 2 | DERIVED | <derived3> | system | NULL | NULL | NULL | NULL | 1 | |
  7. | 3 | DERIVED | t1 | const | PRIMARY,idx_t1_id | PRIMARY | 4 | | 1 | |
  8. +----+-------------+------------+--------+-------------------+---------+---------+------+------+-------+

四、type(重要)

表示MySQL在表中找到所需行的方式,又称“访问类型”。是分析”查数据过程”的重要依据

常用的类型有: ALL, index, range, ref, eq_ref, const, system, NULL(从左到右,性能从差到好)

ALL:Full Table Scan, MySQL将遍历全表以找到匹配的行 ,逐行做全表扫描.,运气不好扫描到最后一行. (说明语句写的很失败)

index: Full Index Scan,index与ALL区别为index类型只遍历索引树,相当于data_all index 扫描所有的索引节点,相当于index_all

range:只检索给定范围的行,使用一个索引来选择行,能根据索引做范围的扫描

ref: 表示上述表的连接匹配条件,即哪些列或常量被用于查找索引列上的值,通过索引列,可以直接引用到某些数据行

eq_ref: 类似ref,区别就在使用的索引是唯一索引,对于每个索引键值,表中只有一条记录匹配,简单来说,就是多表连接中使用primary key或者 unique key作为关联条件

const、system: 当MySQL对查询某部分进行优化,并转换为一个常量时,使用这些类型访问。如将主键置于where列表中,MySQL就能将该查询转换为一个常量,system是const类型的特例,当查询的表只有一行的情况下,使用system

NULL: MySQL在优化过程中分解语句,执行时甚至不用访问表或索引,例如从一个索引列里选取最小值可以通过单独索引查找完成。

const、system、NULL指查询优化到常量级别, 甚至不需要查找时间.

五、possible_keys

注意: 系统估计可能用的几个索引,但最终,只能用1个.

指出MySQL能使用哪个索引在表中找到记录,查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询使用

该列完全独立于EXPLAIN输出所示的表的次序。这意味着在possible_keys中的某些键实际上不能按生成的表次序使用。
如果该列是NULL,则没有相关的索引。在这种情况下,可以通过检查WHERE子句看是否它引用某些列或适合索引的列来提高你的查询性能。如果是这样,创造一个适当的索引并且再次用EXPLAIN检查查询

六、Key

key列显示MySQL实际决定使用的键(索引)

如果没有选择索引,键是NULL。要想强制MySQL使用或忽视possible_keys列中的索引,在查询中使用FORCE INDEX、USE INDEX或者IGNORE INDEX。

七、key_len

表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度(key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的)

不损失精确性的情况下,长度越短越好

八、ref

表示上述表的连接匹配条件,即哪些列或常量被用于查找索引列上的值

九、rows

表示MySQL根据表统计信息及索引选用情况,估算的找到所需的记录所需要读取的行数

  1. 有时候结果集中多一列filtered
  2. 为什么Mysql explain extended中的filtered列值总是100%
  3. 执行Mysqlexplain extended的输出会比单纯的explain多一列filtered(MySQL 5.7缺省就会输出filtered),它指返回结果的行占需要读到的行(rows列的值)的百分比。按说filtered是个非常有用的值,因为对于join操作,前一个表的结果集大小直接影响了循环的次数。但是我的环境下测试的结果却是,filtered的值一直是100%,也就是说失去了意义。
  4. 参考下面mysql 5.6的代码,filtered值只对indexall的扫描有效(这可以理解,其它场合,通常rows值就等于估算的结果集大小。)。

十、Extra

性能从好到坏:useing index>usinh where > using temporary | using filesort

该列包含MySQL解决查询的详细信息,有以下几种情况:

Using temporary:表示MySQL需要使用临时表来存储结果集,常见于排序和分组查询

Using filesort:MySQL中无法利用索引完成的排序操作称为“文件排序”

Using where:列数据是从仅仅使用了索引中的信息而没有读取实际的行动的表返回的,这发生在对表的全部的请求列都是同一个索引的部分的时候,表示mysql服务器将在存储引擎检索行后再进行过滤

Using join buffer:改值强调了在获取连接条件时没有使用索引,并且需要连接缓冲区来存储中间结果。如果出现了这个值,那应该注意,根据查询的具体情况可能需要添加索引来改进能。

Impossible where:这个值强调了where语句会导致没 有符合条件的行。

Select tables optimized away:这个值意味着仅通过使用索引,优化器可能仅从聚合函数结果中返回一行

useing index代表索引覆盖,就是查询的列正好在索引中,不用回物理行查询数据。参考http://www.cnblogs.com/qlqwjy/p/8593076.html

  1. 执行Mysqlexplain extended的输出会比单纯的explain多一列filtered(MySQL 5.7缺省就会输出filtered),它指返回结果的行占需要读到的行(rows列的值)的百分比。按说filtered是个非常有用的值,因为对于join操作,前一个表的结果集大小直接影响了循环的次数。但是我的环境下测试的结果却是,filtered的值一直是100%,也就是说失去了意义。
  2. filtered值只对indexall的扫描有效(这可以理解,其它场合,通常rows值就等于估算的结果集大小。)

总结:
• EXPLAIN不会告诉你关于触发器、存储过程的信息或用户自定义函数对查询的影响情况
• EXPLAIN不考虑各种Cache
• EXPLAIN不能显示MySQL在执行查询时所作的优化工作
• 部分统计信息是估算的,并非精确值
• EXPALIN只能解释SELECT操作,其他操作要重写为SELECT后查看执行计划。

索引优化原则:

1)如果MySQL估计使用索引比全表扫描还慢,则不会使用索引。

返回数据的比例是重要的指标,比例越低越容易命中索引。记住这个范围值——30%,后面所讲的内容都是建立在返回数据的比例在30%以内的基础上。

2)前导模糊查询不能命中索引。