InnoDB引擎底层原理

InnoDB是一个将表中的数据存储到磁盘上的存储引擎，

InnoDB记录存储结构和索引页结构

将数据划分为若干个页，以页作为磁盘和内存之间交互的基本单位，InnoDB中页的大小一般为16 KB。也就是在一般情况下，一次最少从磁盘中读取16KB的内容到内存中，一次最少把内存中的16KB内容刷新到磁盘中。

InnoDB如何获取记录

我们可以在创建或修改表的语句中指定行格式：CREATE TABLE表名(列的信息) ROW_FORMAT=行格式名称

表中的某些列可能存储NULL值，Compact行格式把这些值为NULL的列统一管理起来，存储到 NULL 值列表每个允许存储 NULL 的列对应一个二进制位，二进制位的值为1时，代表该列的值为NULL。二进制位的值为0时，代表该列的值不为NULL。

预留位 1 1 没有使用

预留位 2 1 没有使用

delete_mask 1 标记该记录是否被删除

min_rec_mask 1 B+树的每层非叶子节点中的最小记录都会添加该标记

n_owned 4 表示当前记录拥有的记录数

heap_no 13 表示当前记录在页的位置信息

0 表示普通记录

1 表示 B+树非叶子节点记录

2 表示最小记录

3 表示最大记录

record_type 表示当前记录的类型

记录头

DB_ROW_ID(row_id)：非必须，6 字节，表示行 ID，唯一标识一条记录

DB_TRX_ID：必须，6 字节，表示事务 ID

DB_ROLL_PTR：必须，7 字节，表示回滚指针

MySQL默认添加的隐藏列

行格式

优先使用用户自定义主键作为主键，如果用户没有定义主键，则选取一个 Unique 键作为主键，如果表中连 Unique 键都没有定义的话，则 InnoDB 会为表默认添加一个名为 row_id 的隐藏列作为主键。DB_TRX_ID（也可以称为 trx_id） 和 DB_ROLL_PTR（也可以称为 roll_ptr） 这两个列是必有的，但是 row_id 是可选的（在没有自定义主键以及 Unique 键的情况下才会添加该列）。

InnoDB 表对主键的生成策略

索引页是InnoDB 管理存储空间的基本单位，一个页的大小一般是 16KB。

File Header 文件头部 38 字节 页的一些通用信息

Page Header 页面头部 56 字节 数据页专有的一些信息

Infimum + Supremum 最小记录和最大记录 26 字节 两个虚拟的行记录

我们自己存储的记录会按照我们指定的行格式存储到 User Records 部分

User Records 用户记录 大小不确定 实际存储的行记录内容

Free Space 空闲空间 大小不确定 页中尚未使用的空间

Page Directory 主要是解决记录链表的查找问题

Page Directory 页面目录 大小不确定 页中的某些记录的相对位置

File Trailer 文件尾部 8 字节 校验页是否完整

一个 InnoDB 数据页的存储空间大致被划分成了 7 个部分：

索引页格式

宏观的角度看看 InnoDB 的内存结构和磁盘存储结构。MySQL官网原图

对于 16KB 的页来说，连续的64 个页就是一个区，也就是说一个区默认占用 1MB 空间大小

不论是系统表空间还是独立表空间，都可以看成是由若干个区组成的，每 256个区又被划分成一个组

一个索引会生成 2 个段，一个叶子节点段，一个非叶子节点段。段其实不对应表空间中某一个连续的物理区域，而是一个逻辑上的概念

独立表空间结构

我们每向表中插入一条记录，本质上就是向该表的聚簇索引以及所有二级索引代表的 B+树的节点中插入数据。而 B+树的每一层中的页都会形成一个双向链表，如果是以页为单位来分配存储空间的话，双向链表相邻的两个页之间的物理位置可能离得非常远。

引入区的主要目的是什么

双写缓冲区/双写机制

Buffer Pool

自适应 Hash 索引

Innodb三大特性

提高 innodb 把缓存的数据写到硬盘这个过程的安全性

doublewrite buffer 的作用

系统表空间

减少磁盘IO的开销

缓存的重要性

查看buffer大小  show variables like 'innodb_buffer_pool_size';

268435456 的单位是字节，也就是指定 Buffer Pool 的大小为 256M。需要注意的是，Buffer Pool 也不能太小，最小值为 5M(当小于该值时会自动设置成5M)。

配置buffer的值  innodb_buffer_pool_size = 268435456

InnoDB 为了缓存磁盘中的页，在 MySQL 服务器启动的时候就向操作系统申请了一片连续的内存默认128m

Buffer Pool 内部组成

free 链表的管理

根据表空间号 + 页号来定位一个页的，也就相当于表空间号 +页号是一个 key，缓存页就是对应的 value

用表空间号 + 页号作为 key，缓存页作为 value 创建一个哈希表，在需要访问某个页的数据时，先从哈希表中根据表空间号 + 页号看看有没有对应的缓存页，如果有，直接使用该缓存页就好，如果没有，那就从 free 链表中选一个空闲的缓存页，然后把磁盘中对应的页加载到该缓存页的位置。、

缓存页的哈希处理

LRU 链表的管理

从 LRU 链表的冷数据中刷新一部分页面到磁盘

从 flush 链表中刷新一部分页面到磁盘

刷新脏页到磁盘

通过设置 innodb_buffer_pool_instances 的值来修改 Buffer Pool 实例的个数

使用这个公式算出来的：innodb_buffer_pool_size/innodb_buffer_pool_instances

InnoDB 规定：innodb_buffer_pool_instances 能设置的最大值是 64，而且当 innodb_buffer_pool_size（默认 128M）的值小于 1G 的时候设置多个实例是无效的，InnoDB 会默认把 innodb_buffer_pool_instances 的值修改为 1。

最佳的 innodb_buffer_pool_instances 的数量是，innodb_buffer_pool_size 除以 innodb_buffer_pool_instances，可以让每个 BufferPool 实例达到 1 个 G

每个 Buffer Pool 实例实际占多少内存空间

多个 Buffer Pool 实例

Total memory allocated：代表 Buffer Pool 向操作系统申请的连续内存空间大小，包括全部控制块、缓存页、以及碎片的大小。

Dictionary memory allocated：为数据字典信息分配的内存空间大小，注意这个内存空间和 Buffer Pool 没啥关系，不包括在 Total memory allocated 中

Buffer pool size：代表该 Buffer Pool 可以容纳多少缓存页，注意，单位是页！

Free buffers：代表当前 Buffer Pool 还有多少空闲缓存页，也就是 free 链表中还有多少个节点。

Database pages：代表 LRU 链表中的页的数量，包含 young 和 old 两个区域的数量。

Old database pages：代表 LRU 链表 old 区域的节点数量

Modified db pages：代表脏页数量，也就是 flush 链表中节点的数量

Pending reads：正在等待从磁盘上加载到 Buffer Pool 中的页面数量

Pending writes LRU：即将从 LRU 链表中刷新到磁盘中的页面数量。

Pending writes flush list：即将从 flush 链表中刷新到磁盘中的页面数量。

Pending writes single page：即将以单个页面的形式刷新到磁盘中的页面数量

Pages made young：代表 LRU 链表中曾经从 old 区域移动到 young 区域头部的节点数量。

Page made not young：在将 innodb_old_blocks_time 设置的值大于 0 时，首次访问或者后续访问某个处在old 区域的节点时由于不符合时间间隔的限制而不能将其移动到 young 区域头部时，Page made not young 的值会加 1。

youngs/s：代表每秒从 old 区域被移动到 young 区域头部的节点数量

non-youngs/s：代表每秒由于不满足时间限制而不能从 old 区域移动到 young区域头部的节点数量。

Pages read、created、written：代表读取，创建，写入了多少页。后边跟着读取、创建、写入的速率。

Buffer pool hit rate：表示在过去某段时间，平均访问 1000 次页面，有多少次该页面已经被缓存到 Buffer Pool 了。

young-making rate：表示在过去某段时间，平均访问 1000 次页面，有多少次访问使页面移动到 young 区域的头部了。

not (young-making rate)：表示在过去某段时间，平均访问 1000 次页面，有多少次访问没有使页面移动到 young 区域的头部。

LRU len：代表 LRU 链表中节点的数量。

unzip_LRU：代表 unzip_LRU 链表中节点的数量。

I/O sum：最近 50s 读取磁盘页的总数。

I/O cur：现在正在读取的磁盘页数量。

I/O unzip sum：最近 50s 解压的页面数量。

I/O unzip cur：正在解压的页面数量。

SHOW ENGINE INNODB STATUS\\G

查看 Buffer Pool 的状态信息

InnoDB 的 Buffer Pool

InnoDB 的体系结构

InnoDB引擎底层原理及MySQL8.0新增特性详解(上)