2.4.1 Order By 优化规则

  1. MySQL支持二种方式的排序，FileSort和Index，Index效率高，它指MySQL扫描索引本身完成排序，FileSort方式效率较低。
  2. ORDER BY满足两情况（最佳左前缀原则），会使用Index方式排序
    • ORDER BY语句使用索引最左前列
    • 使用where子句与OrderBy子句条件列组合满足索引最左前列
  3. 尽可能在索引列上完成排序操作，遵照索引建的最佳左前缀
  • 如果未在索引列上完成排序，mysql 会启动 filesort 的两种算法：双路排序和单路排序
    • 双路排序
      • MySQL4.1之前是使用双路排序，字面意思是两次扫描磁盘，最终得到数据。读取行指针和将要进行orderby操作的列，对他们进行排序，然后扫描已经排序好的列表，按照列表中的值重新从列表中读取对应的数据传输
      • 从磁盘取排序字段，在buffer进行排序，再从磁盘取其他字段。
    • 单路排序
      • 取一批数据，要对磁盘进行两次扫描，众所周知，I/O是很耗时的，所以在mysql4.1之后，出现了改进的算法，就是单路排序。
      • 从磁盘读取查询需要的所有列，按照将要进行orderby的列，在sort buffer对它们进行排序，然后扫描排序后的列表进行输出，它的效率更快一些，避免了第二次读取数据，并且把随机IO变成顺序IO，但是它会使用更多的空间，因为它把每一行都保存在内存中了。
    • 结论及引申出的问题：
      • 由于单路是改进的算法，总体而言好过双路
      • 在sort_buffer中，方法B比方法A要多占用很多空间，因为方法B是把所有字段都取出，所以有可能取出的数据的总大小超出了sort_buffer的容量，导致每次只能取sort_buffer容量大小的数据，进行排序（创建tmp文件，多路合并），排完再取取sort_buffer容量大小，再排…… 从而会导致多次I/O。
      • 结论：本来想省一次I/O操作，反而导致了大量的/O操作，反而得不偿失。
    • 更深层次的优化策略：
      • 增大sort_buffer_size参数的设置
      • 增大max_length_for_sort_data参数的设置
  • 遵循如下规则，可提高Order By的速度
    • Order by时select *是一个大忌，只Query需要的字段，这点非常重要。在这里的影响是：
      • 当Query的字段大小总和小于max_length_for_sort_data，而且排序字段不是TEXT|BLOB类型时，会用改进后的算法——单路排序，否则用老算法——多路排序。
      • 两种算法的数据都有可能超出sort_buffer的容量，超出之后，会创建tmp文件进行合并排序，导致多次I/O，但是用单路排序算法的风险会更大一些，所以要提高sort_buffer_size。
    • 尝试提高 sort_buffer_size不管用哪种算法，提高这个参数都会提高效率，当然，要根据系统的能力去提高，因为这个参数是针对每个进程的
    • 尝试提高max_length_for_sort_data提高这个参数，会增加用改进算法的概率。但是如果设的太高，数据总容量超出sort_buffer_size的概率就增大，明显症状是高的磁盘I/O活动和低的处理器使用率。
  • 总结

mysql011.png

2.4.2 Group By 优化规则

  1. group by实质是先排序后进行分组，遵照索引的最佳左前缀
  2. 当无法使用索引列，增大max_length_for_sort_data参数的设置+增大sort_buffer_size参数的设置
  3. where高于having，能写在where限定的条件就不要去having限定了
  4. 其余的规则均和 order by 一致