首页  思维笔记  详情

InnoDB引擎底层原理

2023-07-03 12:28:46   9  举报





InnoDB引擎底层原理

java

数据库

后端开发

作者其他创作

大纲/内容

InnoDB记录存储结构和索引页结构

InnoDB是一个将表中的数据存储到磁盘上的存储引擎，

InnoDB如何获取记录

将数据划分为若干个页，以页作为磁盘和内存之间交互的基本单位，InnoDB中页的大小一般为16 KB。也就是在一般情况下，一次最少从磁盘中读取16KB的内容到内存中，一次最少把内存中的16KB内容刷新到磁盘中。

行格式

我们可以在创建或修改表的语句中指定行格式：CREATE TABLE表名(列的信息) ROW_FORMAT=行格式名称

表中的某些列可能存储NULL值，Compact行格式把这些值为NULL的列统一管理起来，存储到 NULL 值列表每个允许存储 NULL 的列对应一个二进制位，二进制位的值为1时，代表该列的值为NULL。二进制位的值为0时，代表该列的值不为NULL。

记录头

预留位 1 1 没有使用

预留位 2 1 没有使用

delete_mask 1 标记该记录是否被删除

min_rec_mask 1 B+树的每层非叶子节点中的最小记录都会添加该标记

n_owned 4 表示当前记录拥有的记录数

heap_no 13 表示当前记录在页的位置信息

record_type 表示当前记录的类型

0 表示普通记录

1 表示 B+树非叶子节点记录

2 表示最小记录

3 表示最大记录

MySQL默认添加的隐藏列

DB_ROW_ID(row_id)：非必须，6 字节，表示行 ID，唯一标识一条记录

DB_TRX_ID：必须，6 字节，表示事务 ID

DB_ROLL_PTR：必须，7 字节，表示回滚指针

InnoDB 表对主键的生成策略

优先使用用户自定义主键作为主键，如果用户没有定义主键，则选取一个 Unique 键作为主键，如果表中连 Unique 键都没有 定义的话，则 InnoDB 会为表默认添加一个名为 row_id 的隐藏列作为主键。DB_TRX_ID（也可以称为 trx_id）和 DB_ROLL_PTR（也可以称为 roll_ptr）这两个列是必有的，但是 row_id 是可选的（在没有自定义主键以及 Unique 键的情况下才会添加该列）。

索引页格式

索引页是InnoDB 管理存储空间的基本单位，一个页的大小一般是 16KB。

一个 InnoDB 数据页的存储空间大致被划分成了 7 个部分：

File Header 文件头部 38 字节 页的一些通用信息

Page Header 页面头部 56 字节数据页专有的一些信息

Infimum + Supremum 最小记录和最大记录 26 字节 两个虚拟的行记录

User Records 用户记录大小不确定实际存储的行记录内容

我们自己存储的记录会按照我们指定的行格式存储到 User Records 部分

Free Space 空闲空间大小不确定页中尚未使用的空间

Page Directory 页面目录大小不确定页中的某些记录的相对位置

Page Directory 主要是解决记录链表的查找问题

File Trailer 文件尾部 8 字节校验页是否完整

InnoDB 的体系结构

宏观的角度看看 InnoDB 的内存结构和磁盘存储结构。MySQL官网原图

独立表空间结构

对于 16KB 的页来说，连续的64 个页就是一个区，也就是说一个区默认占用 1MB 空间大小

不论是系统表空间还是独立表空间，都可以看成是由若干个区组成的，每 256个区又被划分成一个组

一个索引会生成 2 个段，一个叶子节点段，一个非叶子节点段。段其实不对应表空间中某一个连续的物理区域，而是一个逻辑上的概念

引入区的主要目的是什么

我们每向表中插入一条记录，本质上就是向该表的聚簇索引以及所有二级索引代表的 B+树的节点中插入数据。而 B+树的每一层中的页都会形成一个双向链表，如果是以页为单位来分配存储空间的话，双向链表相邻的两个页之间的物理位置可能离得非常远。

系统表空间

Innodb三大特性

双写缓冲区/双写机制

Buffer Pool

自适应 Hash 索引

doublewrite buffer 的作用

提高 innodb 把缓存的数据写到硬盘这个过程的安全性

innodb 的事务日志不需要包含所有数据的前后映像,而是二进制变化量，这可以节省大量的 IO

InnoDB 的 Buffer Pool

缓存的重要性

减少磁盘IO的开销

Buffer Pool

InnoDB 为了缓存磁盘中的页，在 MySQL 服务器启动的时候就向操作系统申请了一片连续的内存默认128m

查看buffer大小  show variables like 'innodb_buffer_pool_size';

配置buffer的值  innodb_buffer_pool_size = 268435456

268435456 的单位是字节，也就是指定 Buffer Pool 的大小为 256M。需要注意的是，Buffer Pool 也不能太小，最小值为 5M(当小于该值时会自动设置成5M)。

Buffer Pool 内部组成

free 链表的管理

缓存页的哈希处理

根据表空间号 + 页号来定位一个页的，也就相当于表空间号 +页号是一个 key，缓存页就是对应的 value

用表空间号 + 页号作为 key，缓存页作为 value 创建一个哈希表，在需要访问某个页的数据时，先从哈希表中根据表空间号 + 页号看看有没有对应的缓存页，如果有，直接使用该缓存页就好，如果没有，那就从 free 链表中选一个空闲的缓存页，然后把磁盘中对应的页加载到该缓存页的位置。、

LRU 链表的管理

刷新脏页到磁盘

从 LRU 链表的冷数据中刷新一部分页面到磁盘

从 flush 链表中刷新一部分页面到磁盘

多个 Buffer Pool 实例

通过设置 innodb_buffer_pool_instances 的值来修改 Buffer Pool 实例的个数

每个 Buffer Pool 实例实际占多少内存空间

使用这个公式算出来的：innodb_buffer_pool_size/innodb_buffer_pool_instances

InnoDB 规定：innodb_buffer_pool_instances 能设置的最大值是 64，而且当 innodb_buffer_pool_size（默认 128M）的值小于 1G 的时候设置多个实例是无效的，InnoDB 会默认把 innodb_buffer_pool_instances 的值修改为 1。

最佳的 innodb_buffer_pool_instances 的数量是，innodb_buffer_pool_size 除以 innodb_buffer_pool_instances，可以让每个 BufferPool 实例达到 1 个 G

查看 Buffer Pool 的状态信息

SHOW ENGINE INNODB STATUS\G

Total memory allocated：代表 Buffer Pool 向操作系统申请的连续内存空间大小，包括全部控制块、缓存页、以及碎片的大小。

Dictionary memory allocated：为数据字典信息分配的内存空间大小，注意这个内存空间和 Buffer Pool 没啥关系，不包括在 Total memory allocated 中

Buffer pool size：代表该 Buffer Pool 可以容纳多少缓存页，注意，单位是页！

Free buffers：代表当前 Buffer Pool 还有多少空闲缓存页，也就是 free 链表中还有多少个节点。

Database pages：代表 LRU 链表中的页的数量，包含 young 和 old 两个区域的数量。

Old database pages：代表 LRU 链表 old 区域的节点数量

Modified db pages：代表脏页数量，也就是 flush 链表中节点的数量

Pending reads：正在等待从磁盘上加载到 Buffer Pool 中的页面数量

Pending writes LRU：即将从 LRU 链表中刷新到磁盘中的页面数量。