InnoDB、MyISAM 存储引擎都是把表存储在磁盘上的，
而操作系统用来管理磁盘的那个系统是文件系统，
所以用专业一点的话来表述就是：InnoDB 、 MyISAM 存储引擎都是把表存储在文件系统上的。
当我们想读取数据的时候，存储引擎会从文件系统中把数据读取出来返回给我们，
当我们想写入数据的时候，存储引擎会把数据写回文件系统。
本章主要介绍 InnoDB 和 MyISAM 存储引擎的数据是如何在文件系统中存储的。
MySQL 服务器程序在启动时会到文件系统的某个目录下加载一些文件，
之后在 MySQL 服务器运行的过程中产生的数据也都会存储到这个目录下的某些文件中，
这个目就称为数据目录。

数据目录在文件系统中的存放位置
数据目录在文件系统中的存放位置对应一个系统变量 datadir，
在使用客户端与服务器建立连接之后查看这个系统变量的值就找到了数据目录的存放位置了：

  1. mysql> show variables like 'datadir';

图片.png

数据目录的结构

MySQL 在运行的过程中都会产生哪些数据呢？
当然会包含我们创建的数据库、表、视图和触发器等的用户数据，
除了这些用户数据，为了程序更好的运行，MySQL 也会创建一些额外的数据，
我们接下来细细介绍数据目录下的内容。

数据库在文件系统中的表示

每当我们使用 create database 数据库名 语句创建一个数据库的时候，
在文件系统上实际发生了什么呢？
每个数据库都对应数据目录下的一个子目录，或者说：对应一个文件夹，
每当我们新建一个数据库时，MySQL 会帮我们做这两件事：

  1. 在数据目录下创建一个和数据库名同名的子目录（文件夹）
  2. 在该子目录下创建一个名为 db.opt 的文件，这个文件中包含了该数据库的各种属性，比如：该数据库的字符集和比较规则等。

在我的 MySQL 服务器中有一个名为 book 的数据库，该数据库中有 t_book、t_order、t_user 等表，
如下图所示：
图片.png图片.png

表在文件系统中的表示

我们的数据是以记录的形式插入到表中的，表的信息包括：表结构、表数据。
表结构就是该表的名称什么，表有多少列，每个列的数据类型是什么，有什么约束条件和索引，用的什么字符集和比较规则等各种信息，这些信息都体现在了我们的建表语句中。
为了保存表结构信息，InnoDB 和 MyISAM 存储引擎都在数据目录下对应的数据库子目录中创建了一个专门用于描述表结构的文件，文件名格式：表名.frm
图片.png
这个后缀名为 .frm 是以二进制格式存储的，我们直接打开会是乱码。
已经知道描述表结构的文件是怎么存储的了，那表中的数据存到什么文件中了呢？
在这个问题上，不同的存储引擎答案不一样。
下边分别看一下 InnoDB 和 MyISAM 是用什么文件来保存表中数据的。

InnoDB 是如何存储表数据的

InnoDB 使用页为基本单位来管理存储空间，为了更好的管理这些页，
设计 InnoDB 的人提出了一个表空间或者文件空间（table space 或者 file space）的概念，
这个表空间是一个抽象的概念，一个表空间可以对应文件系统上一个或多个真实文件。
一个表空间可以被划分为很多个页，我们的表数据就存放在某个表空间下的某些页里。
设计 InnoDB 的人将表空间划分为几种不同的类型。
下面一个一个看。

系统表空间 (system tablespace)
系统表空间可以对应文件系统上一个或多个实际的文件，
默认情况下，InnoDB 会在数据目录下创建一个名为 ibdata1，大小为 12M 的文件，这个文件就是对应的系统表空间在文件系统上的表示。
图片.png
怎么才 12 M？这么小还没插多少数据就用完了，
那是因为这个文件是自扩展文件，也就是说：当不够用的时候它会自己增加文件大小。
如果你想让系统表空间对应文件系统上多个实际文件，或者仅仅觉得 ibdata1 这个文件名难听，
那可以在 MySQL 启动时配置对应的文件路径以及它们的大小，
比如我们这样修改一下配置文件：

  1. [server]
  2. innodb_data_file_path=data1:512M;data2:512M:autoextend

这样在 MySQL 启动之后就会创建这两个 512M 大小的文件作为系统表空间，
其中的 autoextend 表明：如果这两个文件不够用，则会自动扩展 data2 文件的大小。
我们也可以把系统表空间对应的文件的路径不配置到数据目录下，甚至可以配置到单独的磁盘分区上，
涉及到的启动参数是：innodb_data_file_path 和 innodb_data_home_dir，如果有需要，到官方文档里查看详情。
需要注意的是：

  • 在一个 MySQL 服务器中，系统表空间只有一份。
  • 从 MySQL5.5.7 到 MySQL5.6.6 版本，我们表中的数据都会被默认存储到这个系统表空间中。

独立表空间 (file-per-table tablespace)
在 MySQL5.6.6 以及之后的版本中，InnoDB 并不会默认的把各个表的数据存储到系统表空间中，
而是为每一个表建立一个独立表空间，也就是说：我们创建了多少个表，就有多少个独立表空间。
使用独立表空间存储表数据的话，会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件，独立表空间文件名称格式：表名.ibd。
比如：假如使用了独立表空间去存储 xiaohaizi 数据库下的 test 表的话，
那么在该表所在数据库对应的 xiaohaizi 目录下会为 test 表创建这两个文件：test.frm、test.ibd。

  • test.frm 文件存储表的结构
  • test.ibd 文件存储表的数据和索引

也可以自己指定使用系统表空间还是独立表空间来存储数据，
这个功能由启动参数 innodb_file_per_table 控制，
比如：我们想将表数据都存储到系统表空间，可以在启动 MySQL 服务器时这样配置：

  1. [server]
  2. innodb_file_per_table=0
  • 当 innodb_file_per_table 的值为 0 时，代表使用系统表空间
  • 当 innodb_file_per_table 的值为 1 时，代表使用独立表空间

innodb_file_per_table 参数只对新建的表起作用，对于已经分配了表空间的表并不起作用。
如果我们想把已经存在系统表空间中的表转移到独立表空间，可以使用下边的语法：

  1. alter table 表名 tablespace [=] innodb_file_per_table;

或者把已经存在独立表空间的表转移到系统表空间，可以使用下边的语法：

  1. alter table 表名 tablespace [=] innodb_system;

其中括号扩起来的 = 可有可无。

其他类型的表空间
随着 MySQL 的发展，除了上述两种老牌表空间之外，现在还新提出了一些不同类型的表空间，
比如：通用表空间 (general tablespace)、undo 表空间 (undo tablespace)、临时表空间 (temporary tablespace) 等。

MyISAM 是如何存储表数据的

我们知道 MyISAM 中的索引全部是二级索引，数据和索引是分开存放的。
所以在文件系统中也是使用不同的文件来存储数据文件和索引文件。
而且和 InnoDB 不同的是，MyISAM 并没有表空间一说，表数据都存放到对应的数据库子目录下。
假如 test 表使用 MyISAM 存储引擎，那么在它所在数据库对应的目录下会为 test 表创建这三个文件：
test.frm、test.MYD、test.MYI。

  • test.MYD 代表表的数据文件，也就是我们插入的用户记录
  • test.MYI 代表表的索引文件，我们为该表创建的索引都会放到这个文件中

  • test.frm 存储表的结构，和 Innodb 中表示的意思一样

    视图在文件系统中的表示

    MySQL 中的视图是虚拟的表，也就是某个查询语句的一个别名而已，
    所以在存储视图的时候是不需要存储真实的数据的，只需要把它的结构存储起来就行了。
    和表一样，描述视图结构的文件也会被存储到所属数据库对应的子目录下边，
    只会存储一个 视图名.frm 的文件。

    其他的文件

    除了我们上边说的这些用户自己存储的数据以外，数据目录下还包括为了更好运行程序的一些额外文件，
    主要包括这几种类型的文件：

  • 服务器进程文件。我们知道每运行一个 MySQL 服务器程序，都意味着启动了一个进程。MySQL 服务器会把自己的进程 ID 写到一个文件中。

  • 服务器日志文件。在服务器运行的过程中，会产生各种各样的日志，比如：常规的查询日志、错误日志、二进制日志、redo 日志等各种日志，这些日志各有各的用途，之后的章节有详细介绍。

  • 默认 / 自动生成的 SSL 和 RSA 证书和密钥文件。主要是为了客户端和服务器安全通信而创建的一些文件。

    文件系统对数据库的影响

    因为 MySQL 的数据都是存储在文件系统中的，
    所以就不得不受到文件系统的一些制约，
    这在数据库和表的命名、表的大小和性能方面 体现的比较明显，比如下边这些方面：

  • 数据库名称 和 表名称不得超过文件系统所允许的最大长度。这些目录或文件名的长度都受限于文件系统所允许的长度。

  • 特殊字符的问题。为了避免出现因为数据库名和表名出现某些特殊字符而造成文件系统不支持的情况，MySQL 会把数据库名和表名中所有除数字 和 拉丁字母以外的所有字符，在文件名里都映射成 @ + 编码值的形式作为文件名。比如：表的名称为 test?，由于 ? 不属于数字或者拉丁字母，所以 ? 会被映射成编码值，所以这个表对应的 .frm 文件的名称就变成了 test@003f.frm。

  • 文件长度受文件系统最大长度限制。对于 InnoDB 的独立表空间来说，每个表的数据都会被存储到一个与表名同名的 .ibd 文件中；对于 MyISAM 来说，数据和索引会被分别存储到与表同名的 .MYD和 .MYI 文件中。这些文件会随着表中记录的增加而增大，它们的大小受限于文件系统支持的最大文件大小。

    MySQL 的系统数据库

    图片.png
    这几个系统数据库中包含了 MySQL 服务器运行过程中所需的一些信息以及一些运行状态信息。

  • mysql：这个数据库非常核心，它存储了 MySQL 的用户账户和权限信息，一些存储过程，事件的定义信息，一些运行过程中产生的日志信息，一些帮助信息以及时区信息等。

  • information_schema：这个数据库保存着 MySQL 服务器维护的所有其他数据库的信息，比如：有哪些表、哪些视图、哪些触发器、哪些列、哪些索引等信息。这些信息并不是真实的用户数据，而是一些描述性信息，有时候也称之为元数据。
  • performance_schema：这个数据库保存 MySQL 服务器运行过程中的一些状态信息，算是对 MySQL 服务器的一个性能监控。包括：统计最近执行了哪些语句，在执行过程的每个阶段都花费了多长时间，内存的使用情况等信息。
  • sys：这个数据库主要是通过视图的形式把 information_schema 和 performance_schema 结合起来，让程序员可以更方便的了解 MySQL 服务器的一些性能信息。

具体如何使用要参照官方文档。

总结

  1. 对于 InnoDB、MyISAM 这样的存储引擎会把数据存储到文件系统上。
  2. 数据目录和安装目录是两个不同的东西。
  3. 查看数据目录位置的两个方式：
    • 服务器未启动时（类 Linux 操作系统）：mysqld —verbose —help | grep datadir
    • 服务器启动后： show variables like ‘datadir’;
  4. 每个数据库都对应数据目录下的一个子目录。
  5. 表在文件系统上表示分两部分
    • 表结构的定义不论是 InnoDB 还是 MyISAM，都会在数据库子目录下创建一个和表名同名的 .frm 文件。
    • 表中的数据针对 InnoDB 和 MyISAM 对于表数据有不同的存储方式。
  6. 对于 InnoDB 存储引擎来说，使用表空间来存储表中的数据，表空间分两种类型：
    • 系统表空间：默认情况下，InnoDB 将所有的表数据都存储到这个系统表空间内，它是一个抽象的概念，实际可以对应着文件系统中若干个真实文件。
    • 独立表空间：如果有需要的话，可以为每个表分配独立的表空间，只需要在启动服务器的时候将 innodb_file_per_table 参数设置为 1 即可。每个表的独立表空间对应的文件系统中的文件是在数据库子目录下的与表名同名的 .ibd 文件。
  7. 由于 MySQL 中的数据实际存储在文件系统上，所以会收到文件系统的一些制约：
    • 数据库名称和表名称不得超过文件系统所允许的最大长度。
    • 会把数据库名和表名中所有除数字和拉丁字母以外的所有字符在文件名里都映射成 @+编码值的形式作为文件名。
    • 文件长度受文件系统最大长度限制。
    • 如果同时访问的表的数量非常多，可能会受到文件系统的文件描述符有限的影响。