一、MySQL体系架构

MySQL Server架构自顶向下大致可以分网络连接层、服务层、存储引擎层和系统文件层。
image.png

1.1 网络连接层(客户端连接器(Client Connectors))

  1. 提供与MySQL服务器建立的支持。目前几乎支持所有主流的服务端编程技术,
  2. 例如常见的 JavaCPython、.NET等,它们通过各自API技术与MySQL建立连接。

1.2 服务层(MySQL Server)

  1. 服务层是MySQL Server的核心,主要包含系统管理和控制工具、连接池、SQL接口、解析器、查询优化器和缓存六个部分。
  • 连接池(Connection Pool):负责存储和管理客户端与数据库的连接,一个线程负责管理一个连接。
  • 系统管理和控制工具(Management Services & Utilities):例如备份恢复、安全管理、集群管理等。
  • SQL接口(SQL Interface):用于接受客户端发送的各种SQL命令,并且返回用户需要查询的结 果。比如DML、DDL、存储过程、视图、触发器等。
  • 解析器(Parser):负责将请求的SQL解析生成一个”解析树”。然后根据一些MySQL规则进一步检查解析树是否合法。
  • 查询优化器(Optimizer):“解析树”通过解析器语法检查后,将交由优化器将其转化成执行计划然后与存储引擎交互。
    • select uid,name from user where gender=1;
      • 选取—》投影—》联接 策略
        • 1)select先根据where语句进行选取,并不是查询出全部数据再过滤
        • 2)select查询根据uid和name进行属性投影,并不是取出所有字段
        • 3)将前面选取和投影联接起来最终生成查询结果
  • 缓存(Cache&Buffer): 缓存机制是由一系列小缓存组成的。比如表缓存,记录缓存,权限缓存,引擎缓存等。如果查询缓存有命中的查询结果,查询语句就可以直接去查询缓存中取数据。

    1.3 存储引擎层(Pluggable Storage Engines)

    1. 存储引擎负责MySQL中数据的存储与提取,与底层系统文件进行交互。MySQL存储引擎是插件式的,
    2. 服务器中的查询执行引擎通过接口与存储引擎进行通信,接口屏蔽了不同存储引擎之间的差异 。现在有
    3. 很多种存储引擎,各有各的特点,最常见的是MyISAMInnoDB

    1.4 系统文件层(File System)

    1. 该层负责将数据库的数据和日志存储在文件系统之上,并完成与存储引擎的交互,是文件的物理存储
    2. 层。主要包含日志文件,数据文件,配置文件,pid 文件,socket 文件等。
  • 日志文件

    • 错误日志(Error log):默认开启,show variables like ‘%log_error%’;
    • 通用查询日志(General query log):记录一般查询语句,show variables like ‘%general%’;
    • 二进制日志(binary log):记录了对MySQL数据库执行的更改操作,并且记录了语句的发生时间、执行时长;但是它不 记录select、show等不修改数据库的SQL。主要用于数据库恢复和主从复制。
      • show variables like ‘%log_bin%’; //是否开启
      • show variables like ‘%binlog%’; //参数查看
      • show binary logs;//查看日志文件
    • 慢查询日志(Slow query log):记录所有执行时间超时的查询SQL,默认是10秒。
      • show variables like ‘%slow_query%’; //是否开启
      • show variables like ‘%long_query_time%’; //时长
  • 配置文件:用于存放MySQL所有的配置信息文件,比如my.cnf、my.ini等。
  • 数据文件
    • db.opt 文件:记录这个库的默认使用的字符集和校验规则。
    • frm 文件:存储与表相关的元数据(meta)信息,包括表结构的定义信息等,每一张表都会有一个frm 文件。
    • MYD 文件:MyISAM 存储引擎专用,存放 MyISAM 表的数据(data),每一张表都会有一个 .MYD 文件。
    • MYI 文件:MyISAM 存储引擎专用,存放 MyISAM 表的索引相关信息,每一张 MyISAM 表对 应一个 .MYI 文件。
    • ibd文件和 IBDATA 文件:存放 InnoDB 的数据文件(包括索引)。InnoDB 存储引擎有两种表空间方式:独享表空间和共享表空间。独享表空间使用 .ibd 文件来存放数据,且每一张 InnoDB 表对应一个 .ibd 文件。共享表空间使用 .ibdata 文件,所有表共同使用一个(或多个,自行配置).ibdata 文件。
    • ibdata1 文件:系统表空间数据文件,存储表元数据、Undo日志等 。
    • ib_logfile0、ib_logfile1 文件:Redo log 日志文件。
  • pid 文件 :pid 文件是 mysqld 应用程序在 Unix/Linux 环境下的一个进程文件,和许多其他 Unix/Linux 服务 端程序一样,它存放着自己的进程id。
  • socket 文件: socket 文件也是在 Unix/Linux 环境下才有的,用户在 Unix/Linux 环境下客户端连接可以不通过 TCP/IP 网络而直接使用 Unix Socket 来连接 MySQL。

    二、MySQL运行机制

    image.png

    三、MySQL存储引擎

    ``` 存储引擎在MySQL的体系架构中位于第三层,负责MySQL中的数据的存储和提取,是与文件打交道的 子系统,它是根据MySQL提供的文件访问层抽象接口定制的一种文件访问机制,这种机制就叫作存储引擎。 使用show engines命令,就可以查看当前数据库支持的引擎信息。

在5.5版本之前默认采用MyISAM存储引擎,从5.5开始采用InnoDB存储引擎。

  1. - InnoDB:支持事务,具有提交,回滚和崩溃恢复能力,事务安全
  2. - MyISAM:不支持事务和外键,访问速度快
  3. - Memory:利用内存创建表,访问速度非常快,因为数据在内存,而且默认使用Hash索引,但是一旦关闭,数据就会丢失
  4. - Archive:归档类型引擎,仅能支持insertselect语句
  5. - Csv:以CSV文件进行数据存储,由于文件限制,所有列必须强制指定not null,另外CSV引擎也不支持索引和分区,适合做数据交换的中间表
  6. - BlackHole: 黑洞,只进不出,进来消失,所有插入数据都不会保存
  7. - Federated:可以访问远端MySQL数据库中的表。一个本地表,不保存数据,访问远程表内容。
  8. - MRG_MyISAM:一组MyISAM表的组合,这些MyISAM表必须结构相同,Merge表本身没有数据,
  9. - Merge操作可以对一组MyISAM表进行操作。
  10. <a name="kI4eB"></a>
  11. ## 3.1 InnoDB和MyISAM对比
  12. - 事务和外键
  13. - InnoDB支持事务和外键,具有安全性和完整性,适合大量insertupdate操作
  14. - MyISAM不支持事务和外键,它提供高速存储和检索,适合大量的select查询操作
  15. - 锁机制
  16. - InnoDB支持行级锁,锁定指定记录。基于索引来加锁实现
  17. - MyISAM支持表级锁,锁定整张表。
  18. - 索引结构
  19. - InnoDB使用聚集索引(聚簇索引),索引和记录在一起存储,既缓存索引,也缓存记录。
  20. - MyISAM使用非聚集索引(非聚簇索引),索引和记录分开。
  21. - 并发处理能力
  22. - MyISAM使用表锁,会导致写操作并发率低,读之间并不阻塞,读写阻塞。
  23. - InnoDB读写阻塞可以与隔离级别有关,可以采用多版本并发控制(MVCC)来支持高并发
  24. - 存储文件
  25. - InnoDB表对应两个文件,一个.frm表结构文件,一个.ibd数据文件。InnoDB表最大支持64TB
  26. - MyISAM表对应三个文件,一个.frm表结构文件,一个MYD表数据文件,一个.MYI索引文件。从 MySQL5.0开始默认限制是256TB
  27. ![image.png](https://cdn.nlark.com/yuque/0/2021/png/209673/1635497773434-cdece91a-e1ed-460e-91d4-70ce9f5b126b.png#clientId=ub46b393b-63ef-4&from=paste&id=u4be6fc82&margin=%5Bobject%20Object%5D&name=image.png&originHeight=680&originWidth=1228&originalType=binary&ratio=1&size=169733&status=done&style=none&taskId=u13a8f58a-b6c0-4cd3-86e0-cb1e1b5aba4)
  28. - 适用场景
  29. - MyISAM
  30. - 不需要事务支持(不支持)
  31. - 并发相对较低(锁定机制问题)
  32. - 数据修改相对较少,以读为主
  33. - 数据一致性要求不高
  34. - InnoDB
  35. - 需要事务支持(具有较好的事务特性)
  36. - 行级锁定对高并发有很好的适应能力
  37. - 数据更新较为频繁的场景
  38. - 数据一致性要求较高
  39. - 硬件设备内存较大,可以利用InnoDB较好的缓存能力来提高内存利用率,减少磁盘IO
  40. - 两种引擎该如何选择?
  41. - 是否需要事务?有,InnoDB
  42. - 是否存在并发修改?有,InnoDB
  43. - 是否追求快速查询,且数据修改少?是,MyISAM
  44. - 在绝大多数情况下,推荐使用InnoDB
  45. <a name="PDcHZ"></a>
  46. ## 3.2 InnoDB存储结构

从MySQL 5.5版本开始默认使用InnoDB作为引擎,它擅长处理事务,具有自动崩溃恢复的特性,在日 常开发中使用非常广泛。下面是官方的InnoDB引擎架构图,主要分为内存结构和磁盘结构两大部分。

  1. <a name="J9Q6s"></a>
  2. ### 3.2.1 InnoDB内存结构
  3. ![image.png](https://cdn.nlark.com/yuque/0/2021/png/209673/1635497904518-cea54179-4c6a-48cc-873b-17706b87a621.png#clientId=ub46b393b-63ef-4&from=paste&id=BaDZp&margin=%5Bobject%20Object%5D&name=image.png&originHeight=920&originWidth=1206&originalType=binary&ratio=1&size=1015186&status=done&style=none&taskId=u3c283aaa-d9ff-4ec7-8b52-98698516a0c)<br />内存结构主要包括Buffer Pool、Change Buffer、Adaptive Hash Index和Log Buffer四大组件。
  4. <a name="dm7SJ"></a>
  5. #### Buffer Pool:缓冲池,简称BP。

BP以Page页为单位,默认大小16K,BP的底层采用链表数据结构管理Page。 在InnoDB访问表记录和索引时会在Page页中缓存,以后使用可以减少磁盘IO操作,提升效率。

  1. - Page管理机制 Page根据状态可以分为三种类型:
  2. - free page 空闲page,未被使用
  3. - clean page:被使用page,数据没有被修改过
  4. - dirty page:脏页,被使用page,数据被修改过,页中数据和磁盘的数据产生了不一致
  5. 针对上述三种page类型,InnoDB通过三种链表结构来维护和管理
  6. - free list :表示空闲缓冲区,管理free page
  7. - flush list:表示需要刷新到磁盘的缓冲区,管理dirty page,内部page按修改时间排序。脏页即存在于flush链表,也在LRU链表中,但是两种互不影响,LRU链表负 责管理page的可用性和释放,而flush链表负责管理脏页的刷盘操作。
  8. - lru list:表示正在使用的缓冲区,管理clean pagedirty page,缓冲区以 midpoint为基点,前面链表称为new列表区,存放经常访问的数据,占63%;后面的链表称为old列表区,存放使用较少数据,占37%。
  9. - 改进型LRU算法维护:
  10. - 普通LRU:末尾淘汰法,新数据从链表头部加入,释放空间时从末尾淘汰
  11. - 改性LRU:链表分为newold两个部分,加入元素时并不是从表头插入,而是从中间 midpoint位置插入,如果数据很快被访问,那么page就会向new列表头部移动,如果 数据没有被访问,会逐步向old尾部移动,等待淘汰。 每当有新的page数据读取到buffer pool时,InnoDb引擎会判断是否有空闲页,是否足 够,如果有就将free pagefree list列表删除,放入到LRU列表中。没有空闲页,就会 根据LRU算法淘汰LRU链表默认的页,将内存空间释放分配给新的页。
  12. - Buffer Pool配置参数
  13. - show variables like '%innodb_page_size%'; //查看page页大小
  14. - show variables like '%innodb_old%'; //查看lru list中old列表参数
  15. - show variables like '%innodb_buffer%'; //查看buffer pool参数 建议:将innodb_buffer_pool_size设置为总内存大小的60%-80%,
  16. - innodb_buffer_pool_instances可以设置为多个,这样可以避免缓存争夺。
  17. <a name="yHyFV"></a>
  18. #### Change Buffer:写缓冲区,简称CB。

在进行DML操作时,如果BP没有其相应的Page数据, 并不会立刻将磁盘页加载到缓冲池,而是在CB记录缓冲变更,等未来数据被读取时,再将数据合并恢复到BP中。

ChangeBuffer占用BufferPool空间,默认占25%,最大允许占50%,可以根据读写业务量来 进行调整。参数innodb_change_buffer_max_size;

当更新一条记录时,该记录在BufferPool存在,直接在BufferPool修改,一次内存操作。如 果该记录在BufferPool不存在(没有命中),会直接在ChangeBuffer进行一次内存操作,不 用再去磁盘查询数据,避免一次磁盘IO。当下次查询记录时,会先进性磁盘读取,然后再从 ChangeBuffer中读取信息合并,最终载入BufferPool中。

写缓冲区,仅适用于非唯一普通索引页,为什么? 如果在索引设置唯一性,在进行修改时,InnoDB必须要做唯一性校验,因此必须查询磁盘, 做一次IO操作。会直接将记录查询到BufferPool中,然后在缓冲池修改,不会在ChangeBuffer操作。

  1. <a name="bcY5D"></a>
  2. #### Adaptive Hash Index

自适应哈希索引,用于优化对BP数据的查询。InnoDB存储引擎会监控对表索引的查找, 如果观察到建立哈希索引可以带来速度的提升,则建立哈希索引,所以称之为自适应。 InnoDB存储引擎会自动根据访问的频率和模式来为某些页建立哈希索引。

  1. <a name="msSqt"></a>
  2. #### Log Buffer

日志缓冲区,用来保存要写入磁盘上log文件(Redo/Undo)的数据,日志缓冲区的内容定期刷新到磁盘log文件中。 日志缓冲区满时会自动将其刷新到磁盘,当遇到BLOB或多行更新的大事务操作时,增加日志缓冲区可以节省磁盘I/O。 LogBuffer主要是用于记录InnoDB引擎日志,在DML操作时会产生Redo和Undo日志。 LogBuffer空间满了,会自动写入磁盘。可以通过将innodb_log_buffer_size参数调大,减少磁盘IO频率

  1. innodb_flush_log_at_trx_commit参数控制日志刷新行为,默认为1
  2. - 0 每隔1秒写日志文件和刷盘操作(写日志文件LogBuffer-->OS cache,刷盘OS cache-->磁盘文件),最多丢失1秒数据
  3. - 1:事务提交,立刻写日志文件和刷盘,数据不丢失,但是会频繁IO操作
  4. - 2:事务提交,立刻写日志文件,每隔1秒钟进行刷盘操作
  5. <a name="rygdy"></a>
  6. ### 3.2.2 InnoDB磁盘结构
  7. InnoDB磁盘主要包含TablespacesInnoDB Data DictionaryDoublewrite BufferRedo Log Undo Logs
  8. <a name="QPwL0"></a>
  9. #### 表空间(Tablespaces)
  10. 用于存储表结构和数据。表空间又分为系统表空间、独立表空间、 通用表空间、临时表空间、Undo表空间等多种类型。
  11. <a name="qS50V"></a>
  12. ##### 系统表空间(The System Tablespace)
  13. 包含InnoDB数据字典,Doublewrite BufferChange BufferUndo Logs的存储区 域。系统表空间也默认包含任何用户在系统表空间创建的表数据和索引数据。系统表空 间是一个共享的表空间因为它是被多个表共享的。该空间的数据文件通过参数 innodb_data_file_path控制,默认值是ibdata1:12M:autoextend(文件名为ibdata1 12MB、自动扩展)。
  14. <a name="iCbBW"></a>
  15. ##### 独立表空间(File-Per-Table Tablespaces)
  16. 默认开启,独立表空间是一个单表表空间,该表创建于自己的数据文件中,而非创建于 系统表空间中。当innodb_file_per_table选项开启时,表将被创建于表空间中。否则, innodb将被创建于系统表空间中。每个表文件表空间由一个.ibd数据文件代表,该文件默认被创建于数据库目录中。表空间的表文件支持动态(dynamic)和压缩(commpressed)行格式。
  17. <a name="aQ9kV"></a>
  18. ##### 通用表空间(General Tablespaces)
  19. 通用表空间为通过create tablespace语法创建的共享表空间。通用表空间可以创建于 mysql数据目录外的其他表空间,其可以容纳多张表,且其支持所有的行格式。
  20. ```sql
  21. CREATE TABLESPACE ts1 ADD DATAFILE ts1.ibd Engine=InnoDB; //创建表空间ts1
  22. CREATE TABLE t1 (c1 INT PRIMARY KEY) TABLESPACE ts1; //将表添加到ts1表空间

撤销表空间(Undo Tablespaces)

撤销表空间由一个或多个包含Undo日志文件组成。在MySQL 5.7版本之前Undo占用的 是System Tablespace共享区,从5.7开始将Undo从System Tablespace分离了出来。 InnoDB使用的undo表空间由innodb_undo_tablespaces配置选项控制,默认为0。参 数值为0表示使用系统表空间ibdata1;大于0表示使用undo表空间undo_001、 undo_002等。

临时表空间(Temporary Tablespaces)
  1. 临时表空间分为session temporary tablespaces global temporary tablespace两种。
  2. sessiontemporary tablespaces 存储的是用户创建的临时表和磁盘内部的临时表。
  3. global temporary tablespace储存用户临时表的回滚段(rollback segments )。
  4. mysql服务器正常关闭或异常终止时,临时表空间将被移除,每次启动时会被重新创建。

数据字典(InnoDB Data Dictionary)

InnoDB数据字典由内部系统表组成,这些表包含用于查找表、索引和表字段等对象的元数据。元数据物理上位于InnoDB系统表空间中。由于历史原因,数据字典元数据在一定程度上与InnoDB表元数据文件(.frm文件)中存储的信息重叠。

双写缓冲区(Doublewrite Buffer)

位于系统表空间,是一个存储区域。在BufferPage的page页刷新到磁盘真正的位置前,会先将数据存在Doublewrite 缓冲区。如果在page页写入过程中出现操作系统、存储子系统或 mysqld进程崩溃,InnoDB可以在崩溃恢复期间从Doublewrite 缓冲区中找到页面的一个好备份。在大多数情况下,默认情况下启用双写缓冲区,要禁用Doublewrite 缓冲区,可以将 innodb_doublewrite设置为0。使用Doublewrite 缓冲区时建议将innodb_flush_method设 置为O_DIRECT。

重做日志(Redo Log)

重做日志是一种基于磁盘的数据结构,用于在崩溃恢复期间更正不完整事务写入的数据。 MySQL以循环方式写入重做日志文件,记录InnoDB中所有对Buffer Pool修改的日志。当出现实例故障(像断电),导致数据未能更新到数据文件,则数据库重启时须redo,重新把数据更新到数据文件。读写事务在执行的过程中,都会不断的产生redo log。默认情况下,重做日志在磁盘上由两个名为ib_logfile0和ib_logfile1的文件物理表示。

撤销日志(Undo Logs)

撤消日志是在事务开始之前保存的被修改数据的备份,用于例外情况时回滚事务。撤消日志属于逻辑日志,根据每行记录进行记录。撤消日志存在于系统表空间、撤消表空间和临时表空间中。

3.2.3 新版本结构演变

MySQL 5.7 版本

  • 将 Undo日志表空间从共享表空间 ibdata 文件中分离出来,可以在安装 MySQL 时由用户自行指定文件大小和数量。
  • 增加了 temporary 临时表空间,里面存储着临时表或临时查询结果集的数据。
  • Buffer Pool 大小可以动态修改,无需重启数据库实例。

    MySQL 8.0 版本

  • 将InnoDB表的数据字典和Undo都从共享表空间ibdata中彻底分离出来了,以前需要ibdata中数据字典与独立表空间ibd文件中数据字典一致才行,8.0版本就不需要了。

  • temporary 临时表空间也可以配置多个物理文件,而且均为 InnoDB 存储引擎并能创建索引,这样加快了处理的速度。
  • 用户可以像 Oracle 数据库那样设置一些表空间,每个表空间对应多个物理文件,每个表空间可以给多个表使用,但一个表只能存储在一个表空间中。
  • Doublewrite Buffer从共享表空间ibdata中分离出来。

image.png

3.3 InnoDB数据文件

3.3.1 InnoDB文件存储结构

InnoDB数据文件存储结构:分为一个ibd数据文件—>Segment(段)—>Extent(区)—>Page(页)—>Row(行)
image.png

  • Tablesapce 表空间,用于存储多个ibd数据文件,用于存储表的记录和索引。一个文件包含多个段。
  • Segment 段,用于管理多个Extent,分为数据段(Leaf node segment)、索引段(Non-leaf node segment)、回滚段(Rollback segment)。一个表至少会有两个segment,一个管理数据,一个管理索引。每多创建一个索引,会多两个segment。
  • Extent 区,一个区固定包含64个连续的页,大小为1M。当表空间不足,需要分配新的页资源,不会一页一页分,直接分配一个区。
  • Page 页,用于存储多个Row行记录,大小为16K。包含很多种页类型,比如数据页,undo页,系 统页,事务数据页,大的BLOB对象页。

Page是文件最基本的单位,无论何种类型的page,都是由page header,page trailer和page body组成。
image.png

  • Row 行,包含了记录的字段值,事务ID(Trx id)、滚动指针(Roll pointer)、字段指针(Field pointers)等信息。

    3.4 Undo Log

    3.4.1 Undo Log介绍

    ```sql Undo:意为撤销或取消,以撤销操作为目的,返回指定某个状态的操作。

Undo Log:数据库事务开始之前,会将要修改的记录存放到Undo日志里,当事务回滚时或者数 据库崩溃时,可以利用Undo日志,撤销未提交事务对数据库产生的影响。

Undo Log产生和销毁:Undo Log在事务开始前产生;事务在提交时,并不会立刻删除undo log, innodb会将该事务对应的undo log放入到删除列表中,后面会通过后台线程purge thread进行回收处理。

Undo Log属于逻辑日志,记录一个变化过程。例如执行一个delete,undolog会记录一个insert; 执行一个update,undolog会记录一个相反的update。

Undo Log存储:undo log采用段的方式管理和记录。在innodb数据文件中包含一种rollback segment回滚段,内部包含1024个undo log segment。可以通过下面一组参数来控制Undo log存储。

show variables like ‘%innodb_undo%’;

  1. <a name="gp6P3"></a>
  2. ### 3.4.2 Undo Log作用
  3. <a name="HsqpO"></a>
  4. #### 实现事务的原子性
  5. Undo Log 是为了实现事务的原子性而出现的产物。事务处理过程中,如果出现了错误或者用户执 行了 ROLLBACK 语句,MySQL 可以利用 Undo Log 中的备份将数据恢复到事务开始之前的状态。
  6. <a name="xEBvs"></a>
  7. #### 实现多版本并发控制(MVCC)
  8. Undo Log 在 MySQL InnoDB 存储引擎中用来实现多版本并发控制。事务未提交之前,Undo Log 保存了未提交之前的版本数据,Undo Log 中的数据可作为数据旧版本快照供其他并发事务进行快照读。![image.png](https://cdn.nlark.com/yuque/0/2021/png/209673/1635503851287-8a413981-68a2-41b5-8c7d-12f6e7f4afaf.png#clientId=ub46b393b-63ef-4&from=paste&id=ub638c3f1&margin=%5Bobject%20Object%5D&name=image.png&originHeight=416&originWidth=1154&originalType=binary&ratio=1&size=78451&status=done&style=none&taskId=u110faa36-7e7e-416f-acbe-4a722a31f75)<br />事务A手动开启事务,执行更新操作,首先会把更新命中的数据备份到 Undo Buffer 中。 事务B手动开启事务,执行查询操作,会读取 Undo 日志数据返回,进行快照读。
  9. <a name="xnDQH"></a>
  10. ## 3.5 Redo Log和Binlog
  11. <a name="snuzd"></a>
  12. ### 3.5.1 Redo Log日志
  13. Redo:顾名思义就是重做。以恢复操作为目的,在数据库发生意外时重现操作。 <br />Redo Log:指事务中修改的任何数据,将最新的数据备份存储的位置(Redo Log),被称为重做日志。 <br />Redo Log 的生成和释放:随着事务操作的执行,就会生成Redo Log,在事务提交时会将产生 Redo Log写入Log Buffer,并不是随着事务的提交就立刻写入磁盘文件。等事务操作的脏页写入到磁盘之后,Redo Log 的使命也就完成了,Redo Log占用的空间就可以重用(被覆盖写入)。
  14. <a name="Ba4bH"></a>
  15. #### Redo Log工作原理
  16. Redo Log 是为了实现事务的持久性而出现的产物。防止在发生故障的时间点,尚有脏页未写入表 的 IBD 文件中,在重启 MySQL 服务的时候,根据 Redo Log 进行重做,从而达到事务的未入磁盘数据进行持久化这一特性。<br />![image.png](https://cdn.nlark.com/yuque/0/2021/png/209673/1635730014450-15b8cfae-9972-4bdb-92f0-fc4be9b29012.png#clientId=u6599a840-09f4-4&from=paste&id=u3712c28d&margin=%5Bobject%20Object%5D&name=image.png&originHeight=754&originWidth=1062&originalType=binary&ratio=1&size=114505&status=done&style=none&taskId=u5b7e3b60-6f78-4932-9f0d-ed81f14537f)
  17. <a name="x1mTY"></a>
  18. #### Redo Log写入机制
  19. Redo Log 文件内容是以顺序循环的方式写入文件,写满时则回溯到第一个文件,进行覆盖写。<br />![image.png](https://cdn.nlark.com/yuque/0/2021/png/209673/1635730051016-f465a03f-c1a3-4f97-9337-447638836eea.png#clientId=u6599a840-09f4-4&from=paste&id=u4a9f4489&margin=%5Bobject%20Object%5D&name=image.png&originHeight=376&originWidth=1064&originalType=binary&ratio=1&size=48149&status=done&style=none&taskId=u8731e750-dc66-4146-99d4-1785201c308)
  20. - write pos 是当前记录的位置,一边写一边后移,写到最后一个文件末尾后就回到 0 号文件开头;
  21. - checkpoint 是当前要擦除的位置,也是往后推移并且循环的,擦除记录前要把记录更新到数据文件;
  22. - write pos 和 checkpoint 之间还空着的部分,可以用来记录新的操作。如果 write pos 追上 checkpoint,表示写满,这时候不能再执行新的更新,得停下来先擦掉一些记录,把 checkpoint 推进一下。
  23. <a name="DxfpF"></a>
  24. ### 3.5.2 Binlog日志
  25. <a name="OsU52"></a>
  26. #### Binlog记录模式
  27. Redo Log 是属于InnoDB引擎所特有的日志,而MySQL Server也有自己的日志,即 Binary log(二进制日志),简称Binlog。Binlog是记录所有数据库表结构变更以及表数据修改的二进制 日志,不会记录SELECT和SHOW这类操作。Binlog日志是以事件形式记录,还包含语句所执行的消耗时间。开启Binlog日志有以下两个最重要的使用场景。
  28. - 主从复制:在主库中开启Binlog功能,这样主库就可以把Binlog传递给从库,从库拿到 Binlog后实现数据恢复达到主从数据一致性。
  29. - 数据恢复:通过mysqlbinlog工具来恢复数据。
  30. <a name="mc8JV"></a>
  31. ## 3.6 InnoDB线程模型
  32. ![image.png](https://cdn.nlark.com/yuque/0/2021/png/209673/1635730282127-9fa5d618-a790-434d-abdb-5864bd24504a.png#clientId=u6599a840-09f4-4&from=paste&id=uedd40979&margin=%5Bobject%20Object%5D&name=image.png&originHeight=776&originWidth=1170&originalType=binary&ratio=1&size=94907&status=done&style=none&taskId=uad43ec5e-4a8e-4859-8153-2d5a39017c2)
  33. <a name="WxhWa"></a>
  34. ### 3.6.1 IO Thread
  35. 在InnoDB中使用了大量的AIO(Async IO)来做读写处理,这样可以极大提高数据库的性能。在 InnoDB1.0版本之前共有4个IO Thread,分别是write,read,insert buffer和log thread,后来 版本将read thread和write thread分别增大到了4个,一共有10个了。
  36. - read thread : 负责读取操作,将数据从磁盘加载到缓存page页。4个
  37. - write thread:负责写操作,将缓存脏页刷新到磁盘。4个
  38. - log thread:负责将日志缓冲区内容刷新到磁盘。1个
  39. - insert buffer thread :负责将写缓冲内容刷新到磁盘。1个
  40. <a name="s2StQ"></a>
  41. ### 3.6.2 Purge Thread
  42. 事务提交之后,其使用的undo日志将不再需要,因此需要Purge Thread回收已经分配的undo 页。
  43. ```sql
  44. show variables like '%innodb_purge_threads%';

3.6.3 Page Cleaner Thread

作用是将脏数据刷新到磁盘,脏数据刷盘后相应的redo log也就可以覆盖,即可以同步数据,又能 达到redo log循环使用的目的。会调用write thread线程处理。

  1. show variables like '%innodb_page_cleaners%';

3.6.4 Master Thread

Master thread是InnoDB的主线程,负责调度其他各线程,优先级最高。作用是将缓冲池中的数 据异步刷新到磁盘 ,保证数据的一致性。包含:脏页的刷新(page cleaner thread)、undo页 回收(purge thread)、redo日志刷新(log thread)、合并写缓冲等。内部有两个主处理,分别 是每隔1秒和10秒处理。

  • 每1秒的操作:
    • 刷新日志缓冲区,刷到磁盘
    • 合并写缓冲区数据,根据IO读写压力来决定是否操作
    • 刷新脏页数据到磁盘,根据脏页比例达到75%才操作(innodb_max_dirty_pages_pct, innodb_io_capacity)
  • 每10秒的操作:
    • 刷新脏页数据到磁盘
    • 合并写缓冲区数据
    • 刷新日志缓冲区
    • 删除无用的undo页