MySQL

1、背景

测试mysql5.7和mysql8.0 分别在读写、只读、只写模式下不同并发时的性能（tps，qps）

2、前提

  • 测试使用版本为mysql5.7.22和mysql8.0.15
  • sysbench测试前先重启mysql服务，并清空os的cache（避免多次测试时命中缓存）
  • 每次进行测试都是新生成测试数据后再进行mysql5.7和mysql8.0的测试

  • 每次测试时保证mysql5.7和mysql8.0的配置参数一致

    3、环境

    机器

    1. cat /etc/redhat-release | xargs echo '版本 ' && dmidecode -s system-product-name | xargs echo '是否虚拟化 ' && cat /proc/cpuinfo |grep "processor"|wc -l | xargs echo 'cpu核数 ' 
    2. 版本 CentOS Linux release 7.5.1804 (Core) 是否虚拟化 KVM cpu核数 4

    myql5.7.22

    1. 5.7.22-log
    2. innodb_buffer_pool_size 128M
    3. innodb_log_buffer_size  64M
    4. innodb_log_file_size    48M
    5. binlog_format   ROW
    6. log_bin ON
    7. transaction_isolation   REPEATABLE-READ

    mysql8.0.15

    1. 8.0.15
    2. innodb_buffer_pool_size 128M
    3. innodb_log_buffer_size  64M
    4. innodb_log_file_size    48M
    5. binlog_format   ROW
    6. log_bin ON
    7. transaction_isolation   REPEATABLE-READ

    sysbench

    1. sysbench -V
    2. sysbench 1.1.0 (using bundled LuaJIT 2.1.0-beta3)

    4、测试

  • 在不同的持久化策略下（binlog，redo log持久化）mysql5.7和mysql8.0 在读写模式、只读模式、只写模式（oltp_read_write，oltp_read_only，oltp_write_only）下的性能表现

  • sysbench 测试时间为60s，测试的表数量为20
  • 测试分别在双1模式（安全性）和0 2模式（高性能）下进行 | 参数 | 可选值 | 含义 | | —- | —- | —- | | sync_binlog | 0 | binlog刷盘持久化由操作系统完成，性能好，存在丢失binlog的风险 | | sync_binlog | 1 | 事务提交后刷盘持久化，最安全 | | sync_binlog | N | 在每N个事务提交后进行刷盘持久化 | | innodb_flush_log_at_trx_commit | 0 | 每秒钟写redo log 并刷盘持久化 | | innodb_flush_log_at_trx_commit | 1 | 事务提交后写redo log 并刷盘持久化，最安全 | | innodb_flush_log_at_trx_commit | 2 | 事务提交后写redo log , 每秒刷盘持久化 |

双1模式下

  1. SHOW GLOBAL  VARIABLES WHERE Variable_name IN('sync_binlog','innodb_flush_log_at_trx_commit');
  2. +--------------------------------+-------+
  3. | Variable_name                  | Value |
  4. +--------------------------------+-------+
  5. | innodb_flush_log_at_trx_commit | 1     |
  6. | sync_binlog                    | 1   |
  7. +--------------------------------+-------+

mysql5.7和mysql8.0 在读写模式下的表现

2021-08-02-20-05-40-675225.png

  • 双1 配置，读写模式下，mysql5.7.22 和mysql8.0.15 tps 、qps 性能差不多，mysql8.0.15 在120 线程并发时，性能出现了下降抖动

    mysql5.7和mysql8.0 在只读模式下的表现

    2021-08-02-20-05-40-874250.png

  • 双1 配置，只读模式下，mysql5.7.22 的tps、qps比mysql8.0.15 好1/3 左右；并发线程数增加后，tps、qps并没有随着增加，反而出现了下降的趋势

    mysql5.7和mysql8.0 在只写模式下的表现

    2021-08-02-20-05-41-079224.png

  • 双1 配置，只写模式下，随着并发数的上升，mysql5.7.22 的性能比mysql8.0.15 好1/4左右

    0 2 模式下

    1. SHOW GLOBAL  VARIABLES WHERE Variable_name IN('sync_binlog','innodb_flush_log_at_trx_commit');
    2. +--------------------------------+-------+
    3. | Variable_name                  | Value |
    4. +--------------------------------+-------+
    5. | innodb_flush_log_at_trx_commit | 2     |
    6. | sync_binlog                    | 0   |
    7. +--------------------------------+-------+

    mysql5.7和mysql8.0 在读写模式下的表现MySQL 5.7、8.0性能差异分析 - 图6

  • 0 2配置，读写模式下，并发数低时，mysql5.7.22性能好于mysql8.0.15; 并发数比较高时，mysql8.0.15 性能好于mysql5.7.22；在80 线程的并发以上时，性能开始下降

    mysql5.7和mysql8.0 在只读模式下的表现MySQL 5.7、8.0性能差异分析 - 图7

  • 0 2配置，只读模式下，mysql5.7.22性能比mysql8.0.15 好1/3左右；随着并发数的上升，性能也没有上升，反而有下降的趋势

    mysql5.7和mysql8.0 在只写模式下的表现

    2021-08-02-20-05-41-588630.png

  • 0 2 配置，只写模式下，mysql5.7.22的tps 抖动比较大；mysql5.7.22 的qps比mysql8.0.15好1/3左右

    5、结论

  • 整体来看，mysql5.7.22在读写模式、只读模式、只写模式下的表现是优于mysql8.0.15的

  • 随着并行数的增加，性能表现不会也跟着增加，还会出现下降
  • 本次测试结果是在配置很低的情况下进行的，不代表绝对 :::tips 注意sysbench 需要设置--db-ps-mode=disable 禁用预编译语句，不然并发测试线程多时会报下面的错误 FATAL: mysql_stmt_prepare() failed FATAL: MySQL error: 1461 “Can’t create more than max_prepared_stmt_count statements (current value: 16382)” FATAL: mysql_stmt_prepare() failed FATAL: MySQL error: 1461 “Can’t create more than max_prepared_stmt_count statements (current value: 16382)” FATAL: thread_init’ function failed: /usr/local/share/sysbench/oltp_common.lua:288: SQL API error FATAL: mysql_stmt_prepare() failed FATAL: MySQL error: 1461 “Can’t create more than max_prepared_stmt_count statements (current value: 16382)” FATAL:thread_init’ function failed: /usr/local/share/sysbench/oltp_common.lua:288: SQL API error FATAL: mysql_stmt_prepare() failed ::: 使用脚本 ```bash cat sysbench_test_mysql5.7_8.0_tps_qps.sh

    !/bin/bash

    用于sysbench 测试在读写模式、只读模式、只写模式下 mysql5.7和mysql8.0 的tps,qps

    nohup bash $0 >/tmp/sysbench_test 2>& 1 &

    #

user=admin passwd=admin ports=”8015 57222” host=127.0.0.1 sysbench_test_mode=”oltp_read_write oltp_read_only oltp_write_only” sysbench_test_info_path=/tmp/sysbench-test

function red_echo () {

  1.     local what="$*"
  2.     echo -e "$(date +%F-%T) \e[1;31m ${what} \e[0m"

}

function check_las_comm(){ if [ $1 -ne 0 ];then red_echo $2 exit 1 fi }

function restart_mysqld(){ service mysqld${1} restart sleep 2 }

function purge_binlog(){ port=$1 mysql -u$user -p$passwd -P$port -h$host<<EOF purge binary logs before now(); EOF }

function clean_os_cache(){ echo 3 > /proc/sys/vm/drop_caches }

function sysbench_with_diff_thread(){

thread_num=$1 port=$2 order=$3 test_mode=$4 sysbench /usr/local/share/sysbench/${test_mode}.lua —mysql_storage_engine=innodb —table-size=100000 —tables=20 —mysql-db=test_1 —mysql-user=$user —mysql-password=$passwd —mysql-port=$port —mysql-host=$host —threads=$thread_num —time=60 —report-interval=2 —db-ps-mode=disable —events=0 —db-driver=mysql $order

}

function main(){ for test_mode in $sysbench_test_mode;do

for port in $ports;do for thread_num in {5,10,20,30,40,80,120,200};do restart_mysqld “$port” check_las_comm “$?” “restart mysqld${port} failed “ clean_os_cache purge_binlog “$port”

  1.   red_echo "sysbench $thread_num  threads cleanup mysqld${port}"
  2.   sysbench_with_diff_thread "$thread_num" "$port" "cleanup" "$test_mode">/dev/null
  4.   red_echo "sysbench $thread_num  threads prepare mysqld${port}"
  5.   sysbench_with_diff_thread "$thread_num" "$port" "prepare" "$test_mode">/dev/null
  7.   mkdir -p $sysbench_test_info_path
  8.   red_echo "sysbench $thread_num  threads run mysqld${port} $test_mode"
  9.   sysbench_with_diff_thread "$thread_num" "$port" "run" "$test_mode" > $sysbench_test_info_path/${test_mode}_${thread_num}_$port
  11.   # service mysqld{port} stop
  12. done

done done

}

main ```