零、一般分析SQL步骤

  • 观察，至少跑一天，看看生产的慢SQL情况
  • 开启慢查询日志，设置阙值，比如超过3秒钟的就是慢SQL，并将它抓取出来。
  • explain+慢SQL分析
  • show profile

  • 运维经理或DBA进行SQL数据库服务器的参数调优

    一、优化原则

    1、小表驱动大表

    即小的数据集驱动大的数据集。

    1. select * from A where id in (select id from B)

  • 当B表的数据集必须小于A表的数据集时，用in优于exists

  • 当A表的数据集小于B表的数据集时，用exists优于in
  • 注意：A表与B表的ID字段应建立索引

    2、排序优化

    order by 字句，尽量使用index方式排序，避免使用FileSort方式排序。
    MySQL支持两种方式的排序，FileSort和Index，Index效率高，它指MySQL扫描索引本身完成排序，FileSort方式效率较低。

    2.1 order by 满足两种情况，会使用index方式排序：

  1. order by 语句使用索引最左前列

  2. 使用where字句与order by 字句条件列组合满足索引最左前列原则

    2.2 如果不在索引列上，filesort有两种算法：

  3. 双路排序

    1. MySQL 4.1 之前是使用双路排序,字面意思就是两次扫描磁盘，最终得到数据，读取行指针和 orderby 列，对他们进行排序，然后扫描已经排序好的列表，按照列表中的值重新从列表中读取对应的数据输出。
    2. 从磁盘取排序字段，在 buffer 进行排序，再从磁盘取其他字段。 简单来说，取一批数据，要对磁盘进行了两次扫描，众所周知，I\O 是很耗时的，所以在 mysql4.1 之后，出现了第二种改进的算法，就是单路排序。
  4. 单路排序
    1. 从磁盘读取查询需要的所有列，按照 order by 列在 buffer 对它们进行排序，然后扫描排序后的列表进行输出， 它的效率更快一些，避免了第二次读取数据。并且把随机 IO 变成了顺序 IO,但是它会使用更多的空间， 因为它把每一行都保存在内存中了。
    2. 单路排序的问题 ：
      1. 由于单路是后出的，总体而言好过双路。但是存在以下问题： 在 sort_buffer 中，方法 B 比方法 A 要多占用很多空间，因为方法 B 是把所有字段都取出, 所以有可能取出的数 据的总大小超出了 sort_buffer 的容量，导致每次只能取 sort_buffer 容量大小的数据，进行排序（创建 tmp 文件，多 路合并），排完再取取 sort_buffer 容量大小，再排……从而多次 I/O。
  5. 结论：
    1. 本来想省一次 I/O 操作，反而导致了大量的 I/O 操作，反而得不偿失。
  6. 优化策略
    1. ①增大 sort_butter_size 参数的设置
      1. 不管用哪种算法，提高这个参数都会提高效率，当然，要根据系统的能力去提高，因为这个参数是针对每个进程的 1M-8M 之间调整。
    2. ②增大 max_length_for_sort_data 参数的设置
      1. mysql 使用单路排序的前提是排序的字段大小要小于 max_length_for_sort_data。
      2. 提高这个参数，会增加用改进算法的概率。但是如果设的太高，数据总容量超出 sort_buffer_size 的概率就增大， 明显症状是高的磁盘 I/O 活动和低的处理器使用率。（1024-8192 之间调整）。
    3. ③减少 select 后面的查询的字段。
      1. 当 Query 的字段大小总和小于 max_length_for_sort_data 而且排序字段不是 TEXT|BLOB 类型时，会用改进后的算法——单路排序， 否则用老算法——多路排序。
      2. 两种算法的数据都有可能超出 sort_buffer 的容量，超出之后，会创建 tmp 文件进行合并排序，导致多次 I/O， 但是用单路排序算法的风险会更大一些,所以要提高 sort_buffer_size。

        2.3 为排序使用索引

        MySQL两种排序放啊是：文件排序或扫描有序索引排序。
        MySQL能为排序与查询使用相同的索引。
        image.png

        3、分组优化

  • group by 使用索引的原则几乎跟 order by 一致 ，唯一区别是 groupby 即使没有过滤条件用到索引，也可以直接使用索引。
  • group by实质是先排序后进行分组，遵照索引建的最佳左前缀。

  • 当无法使用索引列，增大 max_length_for_sort_data参数的设置+增大sort_buffer_size参数的设置，where高于having，能卸载where限定的条件就不要去having限定了。

    三、慢查询日志

    1、是什么

  • MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。

  • 具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10秒以上的语句。
  • 由他来查看哪些SQL超出了我们的最大忍耐时间值，比如一条sql执行超过5秒钟，我们就算慢SQL，希望能收集超过5秒的sql，结合之前explain进行全面分析。

    2、怎么用

    默认情况下，MySQL 数据库没有开启慢查询日志，需要我们手动来设置这个参数。
    当然，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。 慢查询日志支持将日志记录写入文件。

    2.1、开始设置

    image.png

    2.2 如永久生效需要修改配置文件 my.cnf 中[mysqld]下配置

    [mysqld]
    slow_query_log=1
    slow_query_log_file=/var/lib/mysql/atguigu-slow.log
    long_query_time=3
    log_output=FILE

    2.3 运行查询时间长的 sql，打开慢查询日志查看