第02章_MySQL的数据目录.pdf

1. MySQL8的主要目录结构

  1. [root@atguigu01 ~]# find / -name mysql

安装好MySQL 8之后，我们查看如下的目录结构：

1.1 数据库文件的存放路径

MySQL数据库文件的存放路径：/var/lib/mysql/

  1. mysql> show variables like 'datadir'; 
  2. +---------------+-----------------+
  3. | Variable_name | Value                      | 
  4. +---------------+-----------------+
  5. | datadir             | /var/lib/mysql/ | 
  6. +---------------+-----------------+
  7. 1 row in set (0.04 sec)

从结果中可以看出，在我的计算机上MySQL的数据目录就是 /var/lib/mysql/

1.2 相关命令目录

相关命令目录：/usr/bin（mysqladmin、mysqlbinlog、mysqldump等命令）和/usr/sbin
image.png

1.3 配置文件目录

配置文件目录：/usr/share/mysql-8.0（命令及配置文件），/etc/mysql（如my.cnf）
image.png

2. 数据库和文件系统的关系

我们知道像 InnoDB 、 MyISAM 这样的存储引擎都是把表存储在磁盘上的，而操作系统用来管理磁盘的结构又被称为 文件系统 ，所以用专业一点的话来表述就是：像 InnoDB 、 MyISAM 这样的存储引擎都是把表存储在文件系统上的。当我们想读取数据的时候，这些存储引擎会从文件系统中把数据读出来返回给我们，当我们想写入 数据的时候，这些存储引擎会把这些数据又写回文件系统。这里就是要介绍一下 InnoDB 和MyISAM 这两个存储引 擎的数据如何在文件系统中存储的。

2.1 查看默认数据库

查看一下在我的计算机上当前有哪些数据库：

  1. mysql> SHOW DATABASES;

可以看到有4个数据库是属于MySQL自带的系统数据库。

  • mysql ：MySQL 系统自带的核心数据库，它存储了MySQL的用户账户和权限信息，一些存储过程、事件的定义信息，一些运行过程中产生的日志信息，一些帮助信息以及时区信息等。

  • information_schema ：MySQL 系统自带的数据库，这个数据库保存着MySQL服务器 维护的所有其他数据库的信息 ，比如有哪些表、哪些视图、哪些触发器、哪些列、哪些索引。这些信息并不是真实的用户数据，而是一些描述性信息，有时候也称之为 元数据 。在系统数据库 information_schema 中提供了一些以innodb_sys 开头的表，用于表示内部系统表。

    1. mysql> USE information_schema; 
    2. Database changed 
    3. mysql> SHOW TABLES LIKE 'innodb_sys%'; 
    4. +--------------------------------------------+
    5. | Tables_in_information_schema (innodb_sys%) |
    6. +--------------------------------------------+
    7. | INNODB_SYS_DATAFILES                                              | 
    8. | INNODB_SYS_VIRTUAL                                                  | 
    9. | INNODB_SYS_INDEXES                                                  | 
    10. | INNODB_SYS_TABLES                                                  | 
    11. | INNODB_SYS_FIELDS                                                  | 
    12. | INNODB_SYS_TABLESPACES                                          | 
    13. | INNODB_SYS_FOREIGN_COLS                                      | 
    14. | INNODB_SYS_COLUMNS                                                  | 
    15. | INNODB_SYS_FOREIGN                                                  | 
    16. | INNODB_SYS_TABLESTATS                                          |
    17. +--------------------------------------------+
    18. 10 rows in set (0.00 sec)

  • performance_schema ：MySQL 系统自带的数据库，这个数据库里主要保存MySQL服务器运行过程中的一些状态信息，可以用来 监控 MySQL 服务的各类性能指标 。包括统计最近执行了哪些语句，在执行过程的每个阶段都花费了多长时间，内存的使用情况等信息。

  • sys ：MySQL 系统自带的数据库，这个数据库主要是通过 视图 的形式把 information_schema 和 performance_schema 结合起来，帮助系统管理员和开发人员监控 MySQL 的技术性能。

    2.2 数据库在文件系统中的表示

    查看计算机上的数据目录下的内容：

    1. [root@atguigu01 mysql]# cd /var/lib/mysql
    2. [root@atguigu01 mysql]# ll 总用量 189980
    3. -rw-r-----. 1 mysql mysql 56 7月 28 00:27 auto.cnf
    4. -rw-r-----. 1 mysql mysql 179 7月 28 00:27 binlog.000001
    5. -rw-r-----. 1 mysql mysql 820 7月 28 01:00 binlog.000002
    6. -rw-r-----. 1 mysql mysql 179 7月 29 14:08 binlog.000003
    7. -rw-r-----. 1 mysql mysql 582 7月 29 16:47 binlog.000004
    8. -rw-r-----. 1 mysql mysql 179 7月 29 16:51 binlog.000005
    9. -rw-r-----. 1 mysql mysql 179 7月 29 16:56 binlog.000006
    10. -rw-r-----. 1 mysql mysql 179 7月 29 17:37 binlog.000007
    11. -rw-r-----. 1 mysql mysql 24555 7月 30 00:28 binlog.000008
    12. -rw-r-----. 1 mysql mysql 179 8月 1 11:57 binlog.000009
    13. -rw-r-----. 1 mysql mysql 156 8月 1 23:21 binlog.000010
    14. -rw-r-----. 1 mysql mysql 156 8月 2 09:25 binlog.000011
    15. -rw-r-----. 1 mysql mysql 1469 8月 4 01:40 binlog.000012
    16. -rw-r-----. 1 mysql mysql 156 8月 6 00:24 binlog.000013
    17. -rw-r-----. 1 mysql mysql 179 8月 6 08:43 binlog.000014
    18. -rw-r-----. 1 mysql mysql 156 8月 6 10:56 binlog.000015
    19. -rw-r-----. 1 mysql mysql 240 8月 6 10:56 binlog.index
    20. -rw-------. 1 mysql mysql 1676 7月 28 00:27 ca-key.pem
    21. -rw-r--r--. 1 mysql mysql 1112 7月 28 00:27 ca.pem
    22. -rw-r--r--. 1 mysql mysql 1112 7月 28 00:27 client-cert.pem
    23. -rw-------. 1 mysql mysql 1676 7月 28 00:27 client-key.pem drwxr-x---. 2 mysql mysql 4096 7月 29 16:34 dbtest
    24. -rw-r-----. 1 mysql mysql 196608 8月 6 10:58 #ib_16384_0.dblwr
    25. -rw-r-----. 1 mysql mysql 8585216 7月 28 00:27 #ib_16384_1.dblwr
    26. -rw-r-----. 1 mysql mysql 3486 8月 6 08:43 ib_buffer_pool
    27. -rw-r-----. 1 mysql mysql 12582912 8月 6 10:56 ibdata1
    28. -rw-r-----. 1 mysql mysql 50331648 8月 6 10:58 ib_logfile0
    29. -rw-r-----. 1 mysql mysql 50331648 7月 28 00:27 ib_logfile1
    30. -rw-r-----. 1 mysql mysql 12582912 8月 6 10:56 ibtmp1 drwxr-x---. 2 mysql mysql 4096 8月 6 10:56 #innodb_temp drwxr-x---. 2 mysql mysql 4096 7月 28 00:27 mysql
    31. -rw-r-----. 1 mysql mysql 26214400 8月 6 10:56 mysql.ibd srwxrwxrwx. 1 mysql mysql 0 8月 6 10:56 mysql.sock
    32. -rw-------. 1 mysql mysql 5 8月 6 10:56 mysql.sock.lock drwxr-x---. 2 mysql mysql 4096 7月 28 00:27 performance_schema
    33. -rw-------. 1 mysql mysql 1680 7月 28 00:27 private_key.pem
    34. -rw-r--r--. 1 mysql mysql 452 7月 28 00:27 public_key.pem
    35. -rw-r--r--. 1 mysql mysql 1112 7月 28 00:27 server-cert.pem
    36. -rw-------. 1 mysql mysql 1680 7月 28 00:27 server-key.pem drwxr-x---. 2 mysql mysql 4096 7月 28 00:27 sys drwxr-x---. 2 mysql mysql 4096 7月 29 23:10 temp
    37. -rw-r-----. 1 mysql mysql 16777216 8月 6 10:58 undo_001
    38. -rw-r-----. 1 mysql mysql 16777216 8月 6 10:58 undo_002

    这个数据目录下的文件和子目录比较多，除了 information_schema 这个系统数据库外，其他的数据库在 数据目录 下都有对应的子目录。以我的 temp 数据库为例，

  • 在MySQL5.7 中打开

    1. [root@atguigu02 mysql]# cd ./temp 
    2. [root@atguigu02 temp]# ll 总用量 1144
    3. -rw-r-----. 1 mysql mysql 8658 8月 18 11:32 countries.frm
    4. -rw-r-----. 1 mysql mysql 114688 8月 18 11:32 countries.ibd
    5. -rw-r-----. 1 mysql mysql 61 8月 18 11:32 db.opt
    6. -rw-r-----. 1 mysql mysql 8716 8月 18 11:32 departments.frm
    7. -rw-r-----. 1 mysql mysql 147456 8月 18 11:32 departments.ibd
    8. -rw-r-----. 1 mysql mysql 3017 8月 18 11:32 emp_details_view.frm
    9. -rw-r-----. 1 mysql mysql 8982 8月 18 11:32 employees.frm
    10. -rw-r-----. 1 mysql mysql 180224 8月 18 11:32 employees.ibd
    11. -rw-r-----. 1 mysql mysql 8660 8月 18 11:32 job_grades.frm
    12. -rw-r-----. 1 mysql mysql 98304 8月 18 11:32 job_grades.ibd
    13. -rw-r-----. 1 mysql mysql 8736 8月 18 11:32 job_history.frm
    14. -rw-r-----. 1 mysql mysql 147456 8月 18 11:32 job_history.ibd
    15. -rw-r-----. 1 mysql mysql 8688 8月 18 11:32 jobs.frm
    16. -rw-r-----. 1 mysql mysql 114688 8月 18 11:32 jobs.ibd
    17. -rw-r-----. 1 mysql mysql 8790 8月 18 11:32 locations.frm
    18. -rw-r-----. 1 mysql mysql 131072 8月 18 11:32 locations.ibd
    19. -rw-r-----. 1 mysql mysql 8614 8月 18 11:32 regions.frm
    20. -rw-r-----. 1 mysql mysql 114688 8月 18 11:32 regions.ibd

  • 在MySQL8.0中打开

    1. [root@atguigu01 mysql]# cd ./temp 
    2. [root@atguigu01 temp]# ll 总用量 1080
    3. -rw-r-----. 1 mysql mysql 131072 7月 29 23:10 countries.ibd
    4. -rw-r-----. 1 mysql mysql 163840 7月 29 23:10 departments.ibd
    5. -rw-r-----. 1 mysql mysql 196608 7月 29 23:10 employees.ibd
    6. -rw-r-----. 1 mysql mysql 114688 7月 29 23:10 job_grades.ibd
    7. -rw-r-----. 1 mysql mysql 163840 7月 29 23:10 job_history.ibd
    8. -rw-r-----. 1 mysql mysql 131072 7月 29 23:10 jobs.ibd
    9. -rw-r-----. 1 mysql mysql 147456 7月 29 23:10 locations.ibd
    10. -rw-r-----. 1 mysql mysql 131072 7月 29 23:10 regions.ibd

    2.3 表在文件系统中的表示

    我们的数据其实都是以记录的形式插入到表中的，每个表的信息其实可以分为两种：

  1. 表结构的定义

  2. 表中的数据表结构，就是该表的名称是啥，表里边有多少列，每个列的数据类型是啥，有啥约束条件和索引，用的是啥字符集和比较规则吧啦吧啦的各种信息，这些信息都体现在了我们的建表语句中了。

    2.3.1 InnoDB存储引擎模式

  3. 表结构

为了保存表结构， InnoDB 在 数据目录 下对应的数据库子目录下创建了一个专门用于 描述表结构的文件 ，文件名是这样：
表名.frm
比方说我们在 atguigu 数据库下创建一个名为 test 的表：

  1. mysql> USE atguigu; 
  2. Database changed 
  3. mysql> CREATE TABLE test (
  4.     -> c1 INT
  5.   -> ); 
  6. Query OK, 0 rows affected (0.03 sec)

那在数据库 atguigu 对应的子目录下就会创建一个名为 test.frm 的用于描述表结构的文件。.frm文件的格式在不同的平台上都是相同的。这个后缀名为.frm是以 二进制格式 存储的，我们直接打开是乱码的。

  1. 表中数据和索引
    • InnoDB 其实是使用 页 为基本单位来管理存储空间的，默认的页 大小为 16KB 。
    • 对于 InnoDB 存储引擎来说，每个索引都对应着一棵 B+ 树，该 B+ 树的每个节点都是一个数据页，数据页之间不必要是物理连续的，因为数据页之间有 双向链表 来维护着这些页的顺序。
    • InnoDB 的聚簇索引的叶子节点存储了完整的用户记录，也就是所谓的索引即数据，数据即索引。

为了更好的管理这些页，InnoDB提出了一个 表空间 或者 文件空间 （英文名： table space 或者 file space ）的概念，这个表空间是一个抽象的概念，它可以对应文件系统上一个或多个真实文件（不同表空间对应的文件数量可能不同）。每一个 表空间 可以被划分为很多很多很多个 页 ，我们的表数据就存放在某个表空间 下的某些页里。这里表的空间有几种不同的类型：

  • 系统表空间（system tablespace）

默认情况下，InnoDB会在数据目录下创建一个名为 ibdata1 、大小为 12M 的文件，这个文件就是对应的 系统表空间 在文件系统上的表示。怎么才12M？注意这个文件是 自扩展文件 ，当不够用的时候它会自
己增加文件大小。
当然，如果你想让系统表空间对应文件系统上多个实际文件，或者仅仅觉得原来的 ibdata1 这个文件名难听，那可以在MySQL启动时配置对应的文件路径以及它们的大小，比如我们这样修改一下my.cnf 配置
文件：

  1. [server] 
  2. innodb_data_file_path=data1:512M;data2:512M:autoextend

这样在 MySQL 启动之后就会创建这两个512M大小的文件作为系统表空间 ，其中的 autoextend 表明这两个文件如果不够用会自动扩展 data2 文件的大小。需要注意的一点是，在一个MySQL服务器中，系统表空间只有一份。从MySQL5.5.7到MySQL5.6.6之间的各个版本中，我们表中的数据都会被默认存储到这个系统表空间。

  • 独立表空间(file-per-table tablespace)

在MySQL5.6.6以及之后的版本中，InnoDB并不会默认的把各个表的数据存储到系统表空间中，而是为 每一个表建立一个独立表空间 ，也就是说我们创建了多少个表，就有多少个独立表空间。使用 独立表空间 来存储表数据的话，会在该表所属数据库对应的子目录下创建一个表示该独立表空间的文件，文件名和表名相同，只不过添加了一个 .ibd 的扩展名而已，所以完整的文件名称长这样：
表名.ibd
比如：我们使用了 独立表空间 去存储 atguigu 数据库下的 test 表的话，那么在该表所在数据库对应的 atguigu 目录下会为 test 表创建这两个文件：

  1. test.frm
  2. test.ibd

其中 test.ibd 文件就用来存储 test 表中的数据和索引。

  • 系统表空间与独立表空间的设置

我们可以自己指定使用 系统表空间 还是 独立表空间 来存储数据，这个功能由启动参数innodb_file_per_table 控制，比如说我们想刻意将表数据都存储到 系统表空间 时，可以在启动MySQL服务器的时候这样配置：

  1. [server] 
  2. innodb_file_per_table=0 # 0：代表使用系统表空间； 1：代表使用独立表空间

默认情况：

  1. mysql> show variables like 'innodb_file_per_table';
  2. +-----------------------+-------+
  3. | Variable_name               | Value |
  4. +-----------------------+-------+
  5. | innodb_file_per_table | ON         | 
  6. +-----------------------+-------+
  7. 1 row in set (0.01 sec)
  • 其他类型的表空间

随着MySQL的发展，除了上述两种老牌表空间之外，现在还新提出了一些不同类型的表空间，比如通用表空间（general tablespace）、临时表空间（temporary tablespace）等。

  1. .frm在MySQL8中不存在了，那去哪里了呢

这就需要解析ibd文件。Orcale官方将frm文件的信息及更多信息移动到叫做序列化字典文件，SDI被卸载ibd文件内部。MySQL8.0属于Orcale旗下，同理。为了从IBD文件中读取SDI信息，Orcale提供了一个应用程序ibd2sdi。这个工具不需要下载，MySQL自带的有，只要你配置好环境变量就能到处用。到存储ibd文件的目录下，执行下面的命令：

  1. ibd2sdi --dump-file=xxx.txt xxx.ibd

image.png
图中标记部分从上到下分别表示

  • 表名
  • 列
  • 列名
  • 列的长度

通过上面的测试结果可以发现，MySQL8把之前版本的frm文件合并到ibd文件中了

2.3.2 MyISAM存储引擎模式

  1. 表结构

在存储表结构方面， MyISAM 和 InnoDB 一样，也是在 数据目录 下对应的数据库子目录下创建了一个专门用于描述表结构的文件
表名.frm

  1. 表中数据和索引

    在MyISAM中的索引全部都是 二级索引 ，该存储引擎的 数据和索引是分开存放 的。所以在文件系统中也是 使用不同的文件来存储数据文件和索引文件，同时表数据都存放在对应的数据库子目录下。假如 test 表使用MyISAM存储引擎的话，那么在它所在数据库对应的 atguigu 目录下会为 test 表创建这三个文件：

  • MySQL5.7
    • test.frm 存储表结构
    • test.MYD 存储数据 (MYData)
    • test.MYI 存储索引 (MYIndex)
  • MySQL8.0
    • test.sdi 存储元数据
    • test.MYD 存储数据 (MYData)
    • test.MYI 存储索引 (MYIndex)

test.MYD 代表表的数据文件，也就是我们插入的用户记录；
test.MYI 代表表的索引文件，我们为该表创建的索引都会放到这个文件中。

2.4 小结

举例： 数据库a ， 表b 。

  1. 如果表b采用 InnoDB ，data\a中会产生1个或者2个文件：
  • b.frm ：描述表结构文件，字段长度等
  • 如果采用 系统表空间 模式的，数据信息和索引信息都存储在 ibdata1 中
  • 如果采用 独立表空间 存储模式，data\a中还会产生 b.ibd 文件（存储数据信息和索引信息）

此外：

  • MySQL5.7 中会在data/a的目录下生成 db.opt 文件用于保存数据库的相关配置。比如：字符集、比较规则。而MySQL8.0不再提供db.opt文件。
  • MySQL8.0中不再单独提供b.frm，而是合并在b.ibd文件中。
  1. 如果表b采用 MyISAM ，data\a中会产生3个文件：
  • MySQL5.7 中： b.frm ：描述表结构文件，字段长度等。 MySQL8.0 中 b.xxx.sdi ：描述表结构文件，字段长度等
  • b.MYD (MYData)：数据信息文件，存储数据信息(如果采用独立表存储模式)
  • b.MYI (MYIndex)：存放索引信息文件
  1. 在MySQL8.0中，对于InnoDB表，SDI与InnoDB用户表空间中的数据一起存储。对于MyISAM和其他存储引擎，它被写入数据目录中的.sdi文件。在MySQL8.0中，MyISAM存储引擎不提供分区支持。在以前版本的MySQL中创建的分区MyISAM表不能再MySQL8.0中使用