1、慢查询开启并捕获
2、explain+慢查询分析
3、show profile查询SQL在mysql服务器里面的执行细节和生命周期情况
4、SQL数据库服务器参数调优

一、概念

MySQL的慢查询,全名是慢查询日志,是MySQL提供的一种日志记录,用来记录在MySQL中响应时间超过阀值的语句。
具体环境中,运行时间超过long_query_time值的SQL语句,则会被记录到慢查询日志中。
long_query_time的默认值为10,意思是记录运行10秒以上的语句。
默认情况下,MySQL数据库并不启动慢查询日志,需要手动来设置这个参数。
当然,如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。
慢查询日志支持将日志记录写入文件和数据库表。

二、参数

MySQL 慢查询的相关参数解释:
slow_query_log:是否开启慢查询日志,1表示开启,0表示关闭。
log-slow-queries :旧版(5.6以下版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
slow-query-log-file:新版(5.6及以上版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
long_query_time:慢查询阈值,当查询时间多于设定的阈值时,记录日志。
log_queries_not_using_indexes:未使用索引的查询也被记录到慢查询日志中(可选项)。
log_output:日志存储方式。log_output=’FILE’表示将日志存入文件,默认值是’FILE’。log_output=’TABLE’表示将日志存入数据库。

三、配置


3.1 slow_query_log

默认情况下slow_query_log的值为OFF,表示慢查询日志是禁用的,可以通过设置slow_query_log的值来开启,如下所示:

  1. mysql> show variables like '%slow_query_log%';
  2. +---------------------+-----------------------------------------------+
  3. | Variable_name | Value |
  4. +---------------------+-----------------------------------------------+
  5. | slow_query_log | OFF |
  6. | slow_query_log_file | /home/WDPM/MysqlData/mysql/DB-Server-slow.log |
  7. +---------------------+-----------------------------------------------+
  8. 2 rows in set (0.00 sec)
  9. mysql> set global slow_query_log=1;
  10. Query OK, 0 rows affected (0.09 sec)

使用set global slow_query_log=1开启了慢查询日志只对当前数据库生效,MySQL重启后则会失效。
如果要永久生效,就必须修改配置文件my.cnf(其它系统变量也是如此)。

my.cnf要增加或修改参数slow_query_log 和slow_query_log_file,如下所示,然后重启MySQL服务器:

  1. slow_query_log = 1
  2. slow_query_log_file = /tmp/mysql_slow.log

3.2 slow_query_log_file

这个参数用于指定慢查询日志的存放路径,缺省情况是host_name-slow.log文件,

  1. mysql> show variables like 'slow_query_log_file';
  2. +---------------------+-----------------------------------------------+
  3. | Variable_name | Value |
  4. +---------------------+-----------------------------------------------+
  5. | slow_query_log_file | /home/WDPM/MysqlData/mysql/DB-Server-slow.log |
  6. +---------------------+-----------------------------------------------+
  7. 1 row in set (0.00 sec)


3.3 long_query_time

开启了慢查询日志后,什么样的SQL才会记录到慢查询日志里面呢?
这个是由参数long_query_time控制,默认情况下long_query_time的值为10秒,可以使用命令修改,也可以在my.cnf参数里面修改。
关于运行时间正好等于long_query_time的情况,并不会被记录下来。
也就是说,在mysql源码里是判断大于long_query_time,而非大于等于。
从MySQL 5.1开始,long_query_time开始以微秒记录SQL语句运行时间,之前仅用秒为单位记录。
如果记录到表里面,只会记录整数部分,不会记录微秒部分。

  1. mysql> show variables like 'long_query_time%';
  2. +-----------------+-----------+
  3. | Variable_name | Value |
  4. +-----------------+-----------+
  5. | long_query_time | 10.000000 |
  6. +-----------------+-----------+
  7. 1 row in set (0.00 sec)
  8. mysql> set global long_query_time=4;
  9. Query OK, 0 rows affected (0.00 sec)
  10. mysql> show variables like 'long_query_time';
  11. +-----------------+-----------+
  12. | Variable_name | Value |
  13. +-----------------+-----------+
  14. | long_query_time | 10.000000 |
  15. +-----------------+-----------+
  16. 1 row in set (0.00 sec)

如上所示,我修改了变量long_query_time,但是查询变量long_query_time的值还是10,难道没有修改到呢?
注意:使用命令 set global long_query_time=4修改后,需要重新连接或新开一个会话才能看到修改值。
用show variables like ‘long_query_time’查看是当前会话的变量值。
也可以不用重新连接会话,而是用show global variables like ‘long_query_time’;。

3.4 log_output

log_output参数指定日志的存储方式。
log_output=’FILE’表示将日志存入文件,默认值也是’FILE’。
log_output=’TABLE’表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。
同时也支持两种日志存储方式,配置的时候以逗号隔开即可,如:log_output=’FILE,TABLE’。
日志记录到系统的专用日志表中,要比记录到文件耗费更多的系统资源。
因此对于需要启用慢查询日志,又需要能够获得更高的系统性能,那么建议优先记录到文件。

  1. mysql> show variables like '%log_output%';
  2. +---------------+-------+
  3. | Variable_name | Value |
  4. +---------------+-------+
  5. | log_output | FILE |
  6. +---------------+-------+
  7. 1 row in set (0.00 sec)
  8. mysql> set global log_output='TABLE';
  9. Query OK, 0 rows affected (0.00 sec)
  10. mysql> show variables like '%log_output%';
  11. +---------------+-------+
  12. | Variable_name | Value |
  13. +---------------+-------+
  14. | log_output | TABLE |
  15. +---------------+-------+
  16. 1 row in set (0.00 sec)
  17. mysql> select sleep(5) ;
  18. +----------+
  19. | sleep(5) |
  20. +----------+
  21. | 0 |
  22. +----------+
  23. 1 row in set (5.00 sec)
  24. mysql>
  25. mysql> select * from mysql.slow_log;
  26. +---------------------+---------------------------+------------+-----------+-----------+---------------+----+----------------+-----------+-----------+-----------------+-----------+
  27. | start_time | user_host | query_time | lock_time | rows_sent | rows_examined | db | last_insert_id | insert_id | server_id | sql_text | thread_id |
  28. +---------------------+---------------------------+------------+-----------+-----------+---------------+----+----------------+-----------+-----------+-----------------+-----------+
  29. | 2016-06-16 17:37:53 | root[root] @ localhost [] | 00:00:03 | 00:00:00 | 1 | 0 | | 0 | 0 | 1 | select sleep(3) | 5 |
  30. | 2016-06-16 21:45:23 | root[root] @ localhost [] | 00:00:05 | 00:00:00 | 1 | 0 | | 0 | 0 | 1 | select sleep(5) | 2 |
  31. +---------------------+---------------------------+------------+-----------+-----------+---------------+----+----------------+-----------+-----------+-----------------+-----------+
  32. 2 rows in set (0.00 sec)


3.5 log-queries-not-using-indexes

该系统变量指定未使用索引的查询也被记录到慢查询日志中(可选项)。
如果调优的话,建议开启这个选项。
另外,开启了这个参数,其实使用full index scan的SQL也会被记录到慢查询日志。

mysql> show variables like 'log_queries_not_using_indexes';
+-------------------------------+-------+
| Variable_name                 | Value |
+-------------------------------+-------+
| log_queries_not_using_indexes | OFF   |
+-------------------------------+-------+
1 row in set (0.00 sec)

mysql> set global log_queries_not_using_indexes=1;
Query OK, 0 rows affected (0.00 sec)

mysql> show variables like 'log_queries_not_using_indexes';
+-------------------------------+-------+
| Variable_name                 | Value |
+-------------------------------+-------+
| log_queries_not_using_indexes | ON    |
+-------------------------------+-------+
1 row in set (0.00 sec)

3.6 log_slow_admin_statements

这个系统变量表示,是否将慢管理语句例如ANALYZE TABLE和ALTER TABLE等记入慢查询日志。

mysql> show variables like 'log_slow_admin_statements';
+---------------------------+-------+
| Variable_name             | Value |
+---------------------------+-------+
| log_slow_admin_statements | OFF   |
+---------------------------+-------+
1 row in set (0.00 sec)


3.7 Slow_queries

如果你想查询有多少条慢查询记录,可以使用Slow_queries系统变量。

mysql> show global status like '%Slow_queries%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Slow_queries  | 2104  |
+---------------+-------+
1 row in set (0.00 sec)


四、mysqldumpslow工具

在生产环境中,如果要手工分析日志,查找、分析SQL,显然是个体力活。
MySQL提供了日志分析工具mysqldumpslow
查看mysqldumpslow的帮助信息:

[root@DB-Server ~]# mysqldumpslow --help
 Usage: mysqldumpslow [ OPTS... ] [ LOGS... ]

Parse and summarize the MySQL slow query log. Options are

  --verbose    verbose
  --debug      debug
  --help       write this text to standard output
  -c           访问次数
  -v           verbose
  -d           debug
  -s ORDER     what to sort by (al, at, ar, c, l, r, t), 'at' is default(排序方式)
                 al: average lock time(平均锁定时间)
                 ar: average rows sent(平均返回记录数)
                 at: average query time(平均查询时间)
                  c: count(访问计数)
                  l: lock time(锁定时间)
                  r: rows sent(返回记录)
                  t: query time(查询时间)
   -r           reverse the sort order (largest last instead of first) 返回记录
   -t NUM       just show the top n queries(返回前面n条数据)
   -a           don't abstract all numbers to N and strings to 'S'
   -n NUM       abstract numbers with at least n digits within names
   -g PATTERN   grep: only consider stmts that include this string(正则匹配模式,大小写不敏感)
   -h HOSTNAME  hostname of db server for *-slow.log filename (can be wildcard),
                default is '*', i.e. match all
   -i NAME      name of server instance (if using mysql.server startup script)
   -l           don't subtract lock time from total time,锁定时间

比如,得到返回记录集最多的10个SQL。
mysqldumpslow -s r -t 10 /database/mysql/mysql06_slow.log

得到访问次数最多的10个SQL
mysqldumpslow -s c -t 10 /database/mysql/mysql06_slow.log

得到按照时间排序的前10条里面含有左连接的查询语句。
mysqldumpslow -s t -t 10 -g “left join” /database/mysql/mysql06_slow.log

另外建议在使用这些命令时结合 | 和more 使用 ,否则有可能出现刷屏的情况。
mysqldumpslow -s r -t 20 /mysqldata/mysql/mysql06-slow.log | more

五、查询当前正在运行的SQL

通过status命令,查看Slow queries这一项,如果值长时间>0,说明有查询执行时间过长
以下是引用片段:
mysql> status; -------------- 
mysql Ver 11.18 Distrib 3.23.58, 
for redhat-linux-gnu (i386) 
Connection id: 53 
Current database: (null) 
Current user: root@localhost 
Current pager: stdout Using outfile: '' 
Server version: 5.0.37-log 
Protocol version: 10 
Connection: Localhost via UNIX socket Client 
characterset: latin1 
Server characterset: latin1 UNIX 
socket: /tmp/mysql.sock Uptime: 4 days 16 hours 49 min 57 sec Threads: 1 
Questions: 706 
Slow queries: 0 
Opens: 177 Flush tables: 1 Open tables:52 Queries per second avg: 0.002 --------------  

--------------------------------------------------------------------------------------------------------------

-- mysql 查询正在执行的sql
select * from information_schema.`PROCESSLIST` where info is not null;
-- 返回 列名:| Id | User | Host | db | Command | Time| State | Info 
id列:不用说了吧,一个标识,你要kill一个语句的时候很有用。
user列:显示单前用户,如果不是root,这个命令就只显示你权限范围内的sql语句。
host列:显示这个语句是从哪个ip的哪个端口上发出的。呵呵,可以用来追踪出问题语句的用户。
db列:显示这个进程目前连接的是哪个数据库。
command列:显示当前连接的执行的命令,一般就是休眠(sleep),查询(query),连接(connect)。
time列:此这个状态持续的时间,单位是秒。
state列:显示使用当前连接的sql语句的状态,很重要的列,后续会有所有的状态的描述,
               请注意,state只是语句执行中的某一个状态,一个sql语句,已查询为例,可能需要经过copying to tmp table,Sorting result,Sending data等状态才可以完成,
info列:显示这个sql语句,因为长度有限,所以长的sql语句就显示不全,但是一个判断问题语句的重要依据。

5.1、state状态

这个命令中最关键的就是state列,mysql列出的状态主要有以下几种:

Checking table

正在检查数据表(这是自动的)。

Closing tables

正在将表中修改的数据刷新到磁盘中,同时正在关闭已经用完的表。这是一个很快的操作,如果不是这样的话,就应该确认磁盘空间是否已经满了或者磁盘是否正处于重负中。

Connect Out

复制从服务器正在连接主服务器。

Copying to tmp table on disk

由于临时结果集大于 tmp_table_size,正在将临时表从内存存储转为磁盘存储以此节省内存。

Creating tmp table

正在创建临时表以存放部分查询结果。

deleting from main table

服务器正在执行多表删除中的第一部分,刚删除第一个表。

deleting from reference tables

服务器正在执行多表删除中的第二部分,正在删除其他表的记录。

Flushing tables

正在执行 FLUSH TABLES,等待其他线程关闭数据表。

Killed

发送了一个kill请求给某线程,那么这个线程将会检查kill标志位,同时会放弃下一个kill请求。MySQL会在每次的主循环中检查kill标志位,不过有些情况下该线程可能会过一小段才能死掉。如果该线程程被其他线程锁住了,那么kill请求会在锁释放时马上生效。

Locked

被其他查询锁住了。

Sending data

正在处理 Select 查询的记录,同时正在把结果发送给客户端。

Sorting for group

正在为 GROUP BY 做排序。

Sorting for order

正在为 orDER BY 做排序。

Opening tables

这个过程应该会很快,除非受到其他因素的干扰。例如,在执 Alter TABLE 或 LOCK TABLE 语句行完以前,数据表无法被其他线程打开。 正尝试打开一个表。

Removing duplicates

正在执行一个 Select DISTINCT 方式的查询,但是MySQL无法在前一个阶段优化掉那些重复的记录。因此,MySQL需要再次去掉重复的记录,然后再把结果发送给客户端。

Reopen table

获得了对一个表的锁,但是必须在表结构修改之后才能获得这个锁。已经释放锁,关闭数据表,正尝试重新打开数据表。

Repair by sorting

修复指令正在排序以创建索引。

Repair with keycache

修复指令正在利用索引缓存一个一个地创建新索引。它会比 Repair by sorting 慢些。

Searching rows for update

正在讲符合条件的记录找出来以备更新。它必须在 Update 要修改相关的记录之前就完成了。

Sleeping

正在等待客户端发送新请求.

System lock

正在等待取得一个外部的系统锁。如果当前没有运行多个 mysqld 服务器同时请求同一个表,那么可以通过增加 —skip-external-locking参数来禁止外部系统锁。

Upgrading lock

Insert DELAYED 正在尝试取得一个锁表以插入新记录。

Updating

正在搜索匹配的记录,并且修改它们。

User Lock

正在等待 GET_LOCK()。

Waiting for tables

该线程得到通知,数据表结构已经被修改了,需要重新打开数据表以取得新的结构。然后,为了能的重新打开数据表,必须等到所有其他线程关闭这个表。以下几种情况下会产生这个通知:FLUSH TABLES tbl_name, Alter TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE, 或 OPTIMIZE TABLE。

waiting for handler insert

Insert DELAYED 已经处理完了所有待处理的插入操作,正在等待新的请求。

大部分状态对应很快的操作,只要有一个线程保持同一个状态好几秒钟,那么可能是有问题发生了,需要检查一下。
还有其它的状态没在上面中列出来,不过它们大部分只是在查看服务器是否有存在错误是才用得着。

六、mysql 查询执行时间超长的sql

1:查看当前的事务
SELECT * FROM INFORMATION_SCHEMA.INNODB_TRX;
2:查看当前锁定的事务
SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCKS;
3:查看当前等锁的事务
SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCK_WAITS;

查出来如果需要的话可以使用kill 线程id (trx_mysql_thread_id 列)