首页  思维导图  详情

存储

2021-03-03 10:54:21   0  举报





AI智能生成

java面试_存储

mysql

redis

kafka

作者其他创作

大纲/内容

mysql

sql执行过程

1、连接： TCP/IP 如果是查询，会考虑是否查询缓存，但是不好用，因为只要更新了表数据，缓存里的数据都会失效；一般配置表可以考虑
2、分析：语法树
3、优化：决定使用哪个索引，生成执行计划，
4、执行：
=======
5、undolog：
6、搜索：
7、redo_log： prepare阶段
8、bin_log：二进制；binlog记录修改数据的sql；数据恢复和主从复制
9、提交事务：让redolog和bin_log保持一致

内存模型

三大链表

free链表

由来：记录哪些区域是空闲的，这样缓存的时候，直接找到位置存储

flush链表

由来：更新数据之后，内存中的数据被改掉，那同步磁盘线程同步数据需要知道哪些被修改了(脏页)，因此，需要有一个链表记录哪些数据被修改了

lru链表

由来：bufferPool进行缓存，如果内存不够了，需要进行清理缓存，哪些缓存可以清理，lru链表记录

组成：热数据区域(5/8)+冷数据区域(3/8)，中间的点叫midpoint

运作方式：数据页进入bufferPool中，首先进入冷数据区域的头部；
如果再次被访问，则判断，两次访问时间间隔，如果超过1秒，则进入热数据区域头部

为什么是1秒：就是说，加入缓存的数据页扫描的时候，一行一行的扫描，时间不会超过1秒

理由：
1、防止全表扫描导致缓存数据被大量清理
2、数据预读页(预读机制)可能不是热点数据，如果不会被再次访问，慢慢的就会被清理

关系：可以简单记为，free链表和lru链表互补，free链表存的是空闲的内存，lru链表存的是被占用的内存

三大log

undo_log

innodb专属日志

用于事务回滚

redo_log

innodb专属日志：主要作用是进行数据落盘，后台专门有一个线程扫描这个redolog

redo_log保证在数据库崩溃宕机恢复之后，可以利用redo_log，保证已经提交的事务会数据落盘

数据怎么落盘呢
先将数据页加载到内存，然后执行事务，

bin_log

mysqlserver层日志

redo_log记录的是X数据页X行做了X改动，而且日志是循环记录，已经commit的日志会慢慢被丢弃，无法用于大型的数据恢复
bin_log则记录全部的数据修改日志，可以用于数据大型的数据恢复
可用于主从复制

索引(innodb)

理解：

mysql中的索引实际上是一个数据结构；mysql中的不同的存储引擎的索引是不一样的，比如memory存储引擎的数据结构是hash表，innodb和myisam的数据结构是b+树；innodb选用b+树的原因是最大限度的减少树的高度，从而减少io次数，提高查询速率；mysql有各种索引，比如主键索引、组合索引、普通索引、唯一索引等。工作中，用的比较多的是主键索引和组合索引，在使用这些索引的时候，我们要注意回表、索引下沉、最左匹配、索引覆盖等问题；
综上，索引是一种数据结构，帮助我们提高查询数据的速度

索引覆盖：我们要查的字段通过非主键索引已经能够获取，不再需要回表的操作

分类

主键索引

主键索引就是唯一索引+不能为空

如果没有主键索引会出现什么问题
1、行锁失效；行锁锁的是主键索引，没有主键，会造成行锁变表锁；
2、如果一个字段声明了自增，声明了主键，却没有声明主键索引，达到int上限后会从0开始覆盖；如果声明了主键索引，则会报主键冲突；
3、系统会默认的创建rowId，6Byte；

唯一索引

值不允许重复

普通索引

组合索引

全文索引

结构

b+树

其他树为什么不行

搜索二叉树：退化成链表
平衡二叉树：要求严格，左右子树的高度相差不能超过1
红黑树：高度不行

原则

事务

事务四大特性

原子性(A)

一致性性(C)

隔离性(I)

隔离性导致的问题/三大并发问题

脏读

读到别的事务未提交的数据

不可重复读

我重复读的时候，两次数据不一致

幻读

两次count的数据不一致

隔离级别

读未提交

读已提交

可重复读

串行化

持久性(D)

lbcc
基于锁的并发控制

共享锁(又叫读锁，属于行锁)：select的时候，lock in share mode;表示在读的时候，该资源会被锁住，不允许被修改，只有该行的所有读锁被释放了，才可以修改

加锁:
select * from t1 where id = 1 lock in share mode;

排他锁(，属于行锁)：加上排锁锁之后，自己可以对资源进行增删改查，其他事务不可以，只能阻塞等待

加锁
自动：DML语句会自动加排他锁
手动：select * from t1 where id =1 for update;

种类

记录锁：只锁一条记录

间隙锁：会锁住一个区间

意向锁：加锁之前，先看一一下这张表有没有锁，快速判断，提交加锁效率

mvcc
基于多版本的并发控制

当前读

本来根据默认的隔离级别，rr，一个事务中不可能读到别的事务提交的数据，但是，如果B事务把数据修改了，A事务在修改数据的时候，应该先读最新的数据，然后再修改，这才是合理的，如果根据rr隔离级别，是做不到的，所以有了mvcc的当前读，当事务中需要修改数据的时候，会获取该条记录的最新的记录，然后再去改数据；但是又不能完全解决问题，这个获取再修改是原子性的吗？和cas一样的道理

快照读

只读数据的时候，只会有快照读，不会触发当前读

高可用

主从复制

读写分离

sql优化

基础知识

数据类型

整数

tinyint(1字节)、samllint(2)、mediumint(3)、int(4)、bigint(8)

int
无符号存储：2^32 -1
有符号存储：-2^31 -(2^31 -1）

浮点

float(4字节)、double(8字节)、decimal

阿里规约：
小数使用decimal，禁止使用float和double，f和d存在精度损失的问题，很可能在比较的时候，得不到准确的结果，如果存储范围超过decimal的范围，建议将数据拆成整数和小数部分，

字符

char(4字节)、varchar(变长，输入的长度+1字节)、text...

varchar(10)什么意思：
5.x之后的版本代表，可以存储10个字符，utf-8的情况下，一个字符代表3个字节

时间

二进制等

redis

基本数据结构

string

应用场景

分布式锁

用redis实现分布式锁需要关注的点：
1、获取锁和加锁的过程放在try/catch的外面，防止获取锁失败，但是执行释放锁的操作；
2、设置超时时间，防止redis宕机，没有释放锁，导致其他线程永远获取不到锁；
3、每个线程设置一个专属的value，在释放锁的时候，需要验证是不是当前线程该释放的锁，防止其他线程释放自己的锁；
4、释放锁如果想要设置成原子的，则需要执行lua脚本；

缓存热点数据

缓存穿透

恶意查询，redis中没有，就去查mysql，mysql没有就返回null，如果存在大量的这样的查询，会给mysql造成压力

mysql中也没有的话，就返回null，同时在redis中存null，并设置超时时间

缓存击穿

缓存到期，这时候恰好有大量的查询，导致大量的查询打到mysql上

解决方案：将过期时间设置成晚上更新，或者不设置过期时间

缓存雪崩

实现方式：sds

自定义数据结构：包括len、free、buf
好处：
1、快速获取长度o(1)
2、避免缓冲区溢出，增加长度时，会判断缓冲区buf长度是不是够用，不够用的话会申请空间
3、空间预分配，<1M，增加相同的长度；>1M，增加1M

list

发布订阅

set

应用场景

抽奖：SADD key {userId}，SPOP/SRANDMEMBER key [count](从集合中随机挑选几个元素)

点赞👍：
SADD like::{articleId} {userId} # 点赞
SREM like::{articleId} {userId} # 取消赞
SISMEMBER like::{articleId} {userId} # 检查用户是否点过赞
SMEMBERS like::{articleId} # 获取所有点赞用户列表
SCARD like::{articleId} # 获取点赞用户数

实现方式：无序的string集合

Zset

排行榜

Hash

表信息

bitmap

setbit 2021_02_21_log 201 1
setbit 2021_02_21_log 202 1

setbit 2021_02_22_log 2 1
setbit 2021_02_22_log 201 1
代表在2021_02_01 这天，201号童鞋签到了，202号同学也签到了

统计一天当中签到的数量：
bitcount

统计三天内签到的同学，将三天的log做&运算
然后调用bitpos就可以这个返回三天签到的同学

统计一位同学一年中签到的次数呢

签到

持久化