redis知识点总结
2023-03-25 22:00:10 0 举报AI智能生成
登录查看完整内容
redis缓存知识点总结
作者其他创作
大纲/内容
1.存储普通字符串
2.存储数字类型字符串，让数字做自增（可以用作全局唯一ID，计数器）
long范围内的数据就做此类型存储
long类型整数
长度小于44个字节的字符串
长达大于44个字节的字符串
raw 简单动态字符串
实现方式
最大512M
长度限制
自增命令
全局唯一ID
计数器
使用场景
incr
分布式锁
赋值命令
sentx
string
特性：一个key，可以对应多个field字段，每个字段都可以存储不同的数据，可以缓存数据库行数据
压缩列表
hashtable表
列表保存元素个数小于512个
每个元素长度小于64字节
使用压缩列表条件满足
使用hash数据结构，key就设置成表的唯一字段；value可以存放多个字段和对应的值
如下：key 设计成user:1 value 设计成 name fankuai age 28 sex name 这样就ok了
导入mysql数据库的表
hash
利用list双向链表的性质，可以实现栈，队列，阻塞队列数据结构
子主题
双向链表
1、列表保存元素个数小于512个
2、每个元素长度小于64字节
利用对应的api从头部添加，从尾部获取数据的api
可以模仿一切队列使用到的场景
消息队列
list
用于抽奖
集合的并集，交集，差集（社交网站的关注模型）
所有的id 都放在一个集合中
SADD KEY {ID}
这个随机选择几个，并且不从集合里面删除；
SRANDMEMBER key [数量]
随机选择几个，从集合里面删除掉；
SRANDMEMBER SPOP key [数量]
常见api
存储整数集合
intset
hashTable
1、集合中所有的元素都必须是整数
2、集合中所有的元素不超过512个
使用intset实现方式条件满足
sadd sku01 1001 1002 1003 1004
添加抽奖者
smembers sku01
查看抽奖者用户
scard sku01
查询参与抽奖的人数
srandmember sku01 2
spop sku01 2
抽取2人获奖
抽奖
sadd user1 sku1001 sku1002 sku1003 sku1004
用户添加商品收藏
sadd user1 sku1001
用户取消收藏
sismember user1 sku1001
检查是否收藏
smembers user1
查询用户的收藏列表
scard user1
获取用户收藏数量
点赞，收藏，标签
sadd user1 元素1 元素2 元素3
关注的人
Sinter user1 user2
两个集合取交集
共同关注的人
关注模型
set
一些需要做排序的数据；
HashMap存储的分数
skipList存储的是所有成员
HashTable和SkipList
保存元素数量小于128个
保存的所有元素长度小于64个字节
使用压缩列表的需要满足条件
主要是用的score 分数的排序功能
zadd key score1 member1 score2 member2
各种排行榜
zset
数据如下： 88分 ，小明； 99分，小红
使用set命令存储的时候排序：key 为 chengjipaixu ； value为 99，小红 88 小明
数据排序
数据结构实际应用场景
限流
用户消息时间线timeline
商品标签
商品筛选
实战
基本数据类型
bitMap
hyperLogLog
Geo
高级数据类型
数据结构
分支主题
大量的请求在redis缓存中没有拿到数据，直接请求数据库，数据库也没有拿到数据；大量的请求直接怼到了数据库，给数据库造成了巨大压力
概述
1.Redis缓存从数据库也没有查询到的空数据
2.在业务系统和缓存之间使用布隆过滤器，直接过滤掉一些缓存以及数据库都没有的请求，直接返回null
布隆过滤器，guav提供的。
解决方式
缓存穿透
Redis缓存的是失效时间到了或者是Redis服务挂了，同一时间大量的请求过来，就会访问数据库，从数据库里面获取数据，这样对数据库的压力太大了
在Redis和数据库之间再做一层中间缓存；
通过定时job，给快要失效的缓存数据做一个再次续期的操作；
redis和数据库之前的代码中自己手动做限流措施
缓存击穿
大量的缓存数据在同一时间过期，引起大量的数据直接访问数据库，引起数据压力过大甚至宕机
错开缓存的过期时间
搭建高可用redis集群
做好熔断操作
缓存雪崩
缓存穿透，就是访问了根本就不存在的数据；缓存击穿，缓存中不存在，但是数据库存在；
缓存击穿缓存穿透区别
缓存更新失败，导致缓存未被更新，从缓存中获取的数据还是更新之前的老数据
1、更新完数据库， 再更新缓存
缓存更新成功，数据库更新失败，数据库中的数据是老数据；缓存失效之后，再去读取数据库老数据，覆盖到缓存，造成数据还是老数据
2、更新完缓存，再更新数据库
缓存更新时间节点
1、针对缓存或者数据库更新失败的解决方式
1、采用先更新数据库，后更新缓存的做法
2、更新缓存失败后，捕捉失败的异常，然后发送消息队列，消息队列的消费方做缓存数据的再次更新，并且更新后，将缓存数据和需要被更新的数据做对比，是否保持一致；
解决方案
并发量非常低
1、更新失败导致缓存不一致
示意图1
示意图2
不一致原因示意图
将数据库数据的更新还有缓存数据封装在一起，使用分布式锁来操作；
以被更新的目标数据的id为key;
2、多线程并发修改，造成数据的不一致
存在问题
缓存数据一致性
在redis集群模式下，数据会按照一定的分布规则分散到不同的实例上；如果由于业务数据特殊性，按照指定的分布规则，可能导致不同的实例上数据分布不均匀
数据倾斜解释
在集群中的各个实例上数据类大小不一致
示意图
数据量倾斜
对集群中某些实例的访问频率大大超过了其他实例
数据访问倾斜
数据倾斜分类
大key导致占据的缓存空间过大，实际上可能这些大key并没有多少；
将大key拆分成其他缓存
业务层面避免大key创建
存在大key
某些实例分配到的槽位到，相应的得到数据量也会多
初始分配的时候，将槽位分配均匀
如果已经造成，则可以进行实例之间的数据迁移
solt分配不均
在hash设置key的时候不要带上画括号
hashTag使用不当
原因
存在热key
主要原因
数据倾斜问题
比如说：扣库存操作，读取库存和扣减库存，不是一个原子操作
redis也有自增自减的api，将两个不是原子操作的操作合并成一个原子操作；
redis本身执行读写操作命令式单线程执行的，但是从调用redis的客户端来说，使用的时候会存在线程安全问题
1、客户端加锁
2、客户端使用单线程执行
ua脚本的开销非常低
好处
Lua脚本只能保证原子性，不保证事务性，当Lua脚本遇到异常时，已经执行过的逻辑是不会回滚的
缺点
3、将客户端的逻辑放在lua脚本中执行
解决此类由客户端导致的并发问题方式
并发问题
缓存相关问题
1.普通hash算法的伸缩性差，解决了分布式系统中机器的加入和退出
2.解决了数据倾斜问题
解决的问题
增设了很多虚拟节点
一致性hash
jedis已经支持了hash槽位的计算
redis默认的缓存分片是hash槽位，槽位的最大个数是16384个。每一个主节点都会分配到相应的槽位；根据计算key的对16384取模计算，当前的key应该属于哪个槽位。就知道落在了哪个节点
hash槽
缓存分片hash问题
1.从redission获取锁
2.加锁
3.finnal里面解锁
redssion实现方式
jedis实现的方式比较麻烦
由于网络原因哨兵节点无法感知主节点的存在，那么就会从从从节点中选取一个主节点；那么这个时候就会存在两个主节点了；
集群脑裂概述
新的master节点就不会同步原来老master节点的数据；当网络原因解决之后，原来的主节点就会变成从节点，新的master节点由于没有同步数据，就会造成缓存数据的丢失；
集群脑裂问题
设置连接到master的最少从机数量；从机连接主机最大延迟时间
集群脑裂
最小使用频率做缓存数据的淘汰
记录了最近访问的时间
记录了请求访问的次数
实现
这种肯定不行
不设置任何淘汰机制
这种也不行
随机淘汰
这种也不行，如果是一个高频使用的缓存，缓存周期到了也被淘汰了
生命周期淘汰
不能够完全说明这个问题；短期之内使用的比较少，但是整个周期内使用的次数比较多，这种也会被淘汰
最近最少使用算法
最终选择LFU
相对其他算法
使用LFU算法
如何保证缓存中的数据都是热键数据
实际问题
1.一主一备，主机写，从机读；主机挂了不影响从机读
2.主机挂了，系统还能提供读服务，并不能提供写服务，从机不会变成主机
特点
主库挂了，那么就不能提供写服务，只能提供读服务
主从模式
1.建立在主从模式之上，哨兵节点本身不做数据存储；
2.主节点挂了，哨兵节点就会从所有从节点中选取一个节点做为主节点；
3.挂掉的主节点重启之后，就作为从节点；
4.哨兵节点也可以组成哨兵集群
1.客户端连接的是哨兵节点，由哨兵节点来提供Redis的各种服务
工作机制
哨兵模式
哨兵模式就能保证高可用了，但是如果数据量过大，一台服务器存不下所有数据，就需要搭建高可以用集群
高可用集群可以说是哨兵模式和主从模式结合体
集群至少有三个主节点，每个主节点至少有一个从节点（副本节点），所有一个高可用集群必须是由6个节点
可在线添加，删除节点
高可用集群模式
redis集群
默认淘汰策略
不做任何处理，写入超过限制后，会返回操作错误；读操作还是可以正常进行
noeviction
设置了过期时间，清除最近最少使用的键值对
volatile-lru
未设置过期时间，清除最近最少的键值对
allkeys-lru
1、需要存储缓存数据之外额外的时间数据
设置每一次要被淘汰的key的个数，个数如果=10比较，对热键数据影响比较小
2、可能会删除热key
缓存对象中会存储这个缓存最近被访问的时间戳
淘汰的时候会根据当前的时间戳-缓存对象中的时间戳，差值最大的就被淘汰
LRU最近最少使用淘汰
设置了过期时间，清除某段时间内使用次数最少的键值对
volatile-lfu
未设置过期时间，清除某段时间使用次数最少的键值对
allkeys-lfu
LFU最小使用频率淘汰
设置了过期时间，清除过期时间最早的键值对
volatile-ttl
TTL生命周期结束淘汰
未设置过期时间，随机清除键值对
allkeys-random
设置了过期时间，随机清除键值对
volatile-random
random随机淘汰
缓存淘汰类型
1.后台根据删除任务的执行频率，默认是每秒10次；
2.删除key的时间限制；
3.从数据库的过期列表中随机选择20个key，判断是否过期，过期就清理；
4.如果有5个以上的key过期，那么就会重复再次选择20个；
5.清理的时间不能超过设定的时间；
删除过程：分为同步删除，异步删除
过期策略的实现（针对过期key回收）
遍历每一个数据库，从每一个数据库随机抽取一批数据，默认是五个，如果对比这批数据的最近的使用时间，删除最远使用时间的键值对；
LRU实现（每次命令处理的时候触发内存清理）
内存清理
1.如果缓存有明显的热点分部，那么就选择lru算法
2.如果缓存没有明显热点分部，那么就选择随机
缓存淘汰机制选择
1.Redis的每一次命令处理的时候，都会去判断当前redis是否已经达到最大缓存极限，如果达到极限，俺么就会启用相应算法去处理需要清除的键值对；
1.访问key的时候，key是否过期，过期就删除；
2.Redis启动时候的定时时间，默认是每秒十次的检测过期的key，过期就清理；清理的时间只有CPU执行时间的四分之一。
2.过期key的回收
内存回收时间
缓存淘汰机制
redis数据集改动事件之后对客户端的一种通知行为
事件通知概述
键空间通知
键事件通知
事件通知类别
删除，设置过期时间，重命名等一些和数据类型无关的操作的通知
字符串命令通知
列表命令通知
集合命令通知
哈希命令通知
有序集合命令通知
过期事件通知
缓存驱逐事件通知
不管发生什么事件都通知
通知类型
该功能默认是关闭；需要在config配置文件中开启该功能
配置形式：notify-keyspace-events +事件通知类别和通知类型；notify-keyspace-events "Ex"表示对过期事件进行通知发送
事件通知使用
事件通知是不可靠的，服务器采用的是发送即忘，如果当订阅事件发生的时候；客户端掉线了，那么这个事件就不会通知到客户端，所有事件订阅是不可靠的
事件订阅缺陷
事件通知机制
1.记录每一个redis的写命令以日志的形式进行存储
1.有命令就刷盘一次
2.一秒刷盘一次（推荐，也是默认的）
3.由系统决定刷盘时间间隔
2.AOF刷盘时间间隔
3.为啥需要设置刷盘时间：持久化的目的是把数据记录在磁盘上，所以当数据在内存中的时候，就需要把内存中的数据放到磁盘上，放到磁盘上的时间间隔就是刷盘时间；
机制说明
1.持久化实时性比较高（可以设置间隔多少秒追加一次日志，也就是间隔时间越短，丢失的数据就是越少）
优点
1.AOF文件的体积通常大于RDB
2.数据恢复比rdb慢
优缺点
1.当AOF文件过大时，后台会去优化AOF文件；
1.可以使用修复程序修改AOF文件；
2.为AOF文件创建一个备份文件
当AOF文件出错（以下两者方式都是可以解决AOF文件出错了，数据该怎么恢复的问题，最终还是需要重启redis服务器去载入AOF文件）
AOF机制
AOF
机制说明：就是以内存快照的形式缓存内存中的数据
缺点：1.实时性比较低，单独使用该持久化机制，服务器宕机导致数据丢失较多；
1.实时性比较低，单独使用该持久化机制，容易导致数据丢失；
2.从主进程fork子进程的时候会被阻塞，
1.rdb文件大小紧凑；可以设置间隔时间备份，还原到不同历史时期的数据状态
2.持久化的时候可以由子进程去完成所有的数据保存工作；父进程无需任何的io操作；
3.数据恢复比AOF快
数据存储：存储在dump.rdb文件中
RDB(默认方式)
1.可以在不重启的情况下切换RDB到AOF模式
2.当RDB，AOF都打开的时候，程序默认使用AOF方式持久化
持久化机制
1.定期的把RDB文件备份到其他位置
容灾措施
epoll模式的多路复用
多路复用机制
网络IO
单线程性能瓶颈
多线程只是用来处理网络数据读写和协议的解析，执行Redis命令依旧是单线程去执行
多线程
一组命令的集合，要么所有的命令都执行成功，要么都执行失败
事物本质
一个事物所有的命令都会放在队列中缓存，执行的时候会去串行执行队列中的命令
事物执行过程
开启一个事物
MULTI
执行这个事物的所有命令
EXEC
取消事物
discard
监视某些key
watch
放弃监视某些key
unwatch
事物相关命令
配置事物一起使用，只有被监视的key没有发生任务数据变化的时候，事物才会被执行，否则是不会被执行
使用方式：在事物开始之前监听某些key
watch命令特别说明
2.6.5之前版本，忽略入队失败的命令，可以继续执行事物
2.6.5开始版本，入队失败，执行事物的时候会自动放弃执行该事物
入队时候的语法错误
exec事物开始执行的命令开始了，事物队列中某条或者某些命令执行失败了，Redis依旧会接着执行命令，不会放弃执行命令
执行事物调用之后错误；比如说错误的用string数据结构的命令操作list数据结构的数据
事物中的错误类型
不支持回滚，即使事物队列开始执行后，有命令执行失败了也不会回滚
redis事物与数据库事物最大差别
事物机制
作用：把从服务器数据的状态更新到和主服务器状态一致；
使用场景：一般都刚刚搭建服从服务的时候
1.数据量较大时候，主从节点的网络开销很大
全量复制
1.当主服务器收到写命令的时候，为了保持从服务器与主服务器的数据一致；就会让从服务器也去执行主服务器的命令；这个过程就是增量赋值的过程
2.对全量复制方式的工作方式弥补，当主从断开了连接，就不需要做全量复制，只需要执行断开期间主服务器的写命令
作用
增量复制
概述：复制分为全量复制，增量复制，也就是对应着同步操作，命令行操作；
复制分类
1.各自彼此都模拟成对方的客户端发送心跳信息
2.主节点默认间隔10秒给从节点 发送链接信息
3.从节点默认间隔1秒给主节点发送偏移量
心跳检测
1.从服务器给主服务器发送同步命令；
2.主服务器开启后台进程，生产快照数据，发送给客户端，并缓存当前主服务器的写命令
3.从服务器清空之前缓存的所有数据
4.从服务器收到rdb文件保存在磁盘，从磁盘读取数据同步数据；
5.主服务器把缓存的写命令传递给从服务器，从服务器同步这些写命令；
主从复制过程
1.主节点处理完命令之后，会把命令字节长度累加记录起来，一个记录在命令表，一个记录在偏移量表
2.从节点收到主节点的命令，也会累计自身节点的复制的偏移量；
3.从节点每秒钟把自己的偏移量发送给主节点，主节点对比偏移量，
4.主节点就知道从节点的数据是否和主节点数据一致；
复制原理
1.从服务器在同步时，会清空所有数据
2.Redis不支持主主复制
3.主从复制不会阻塞master
4.主节点的处理完写命令就会直接给客户端返回，然后异步将命令传递给从服务器
复制注意事项
主从复制机制
1.数据存储在内存
2.数据结构简单
3.单线程不存在锁
4.io多路复用
redis为啥快
Redis最大存储大小
为0的时候表示可以无限制使用redis内存
maxmemory
配置内存清理策略
maxmemory-policy
maxmemory-samples
内存相关
Redis配置文件说明
APPEND myphone "nokia"
在来的字符串后面追加拼接
GETRANGE greeting 0 4
返回指定字符串的值中间几位对应的字符串
GETSET db mongodb
重新设置key的值返回老的key的值
failure_times对应的数值自减1
DECR failure_times
count对应的数值指定自减的数量
DECRBY count 20
page_view的值自增1；
INCR page_view
rank对应的数据自增20
INCRBY rank 20
mykey对应的值自鞥指定的浮点数值
INCRBYFLOAT mykey 0.1
自增自减
位图操作
String
key为website
value中field为Google，value为"www.g.cn"
HSET website google "www.g.cn"
设置值
HGET site redis
获取指定value指定field对应的值
获取people所有field和值
HGETALL people
获取key的所有field的值
HDEL abbr a
删除指定key的指定的field的值
HEXISTS phone myphone
指定field是否存在
对key 为counter 中field字段难为page_view的自增200
HINCRBY counter page_view 200
HINCRBYFLOAT mykey field 0.1
HMSET website google www.google.com yahoo www.yahoo.com OK
1) "google"2) "yahoo"
操作结果
HKEYS website
返回所有的field
1) "www.google.com"2) "www.yahoo.com"
HVALS website
返回所有的域的值
Hash表操作
可以重复添加
LPUSH languages python
往列表的表头添加
LPUSHX greet "hello"
往列表的表尾添加
RPUSH languages c
指定key中在指定元素的前面或者后面添加元素
LINSERT mylist BEFORE "World" "There"
往列表中添加
获取表头元素并删除
LPOP course
获取表尾元素并删除
RPOP mylist
获取表头元素，如果没有元素就会阻塞，阻塞的时间为指定时间
blpop key timeout
获取表尾元素，如果没有元素就会阻塞，阻塞的时间为指定时间
brpop key timeout
返回list中指定某个索引位置的数据
LRANGE fp-language 0 1
返回对应索引位置的值
LINDEX mylist 3
从列表中获取
根据key中value的值删除指定个数
lrem key count value
删除指定区间的值
ltrim key start stop
删除
List操作
不能被重复添加
SADD bbs "discuz.net"
添加单个
批量存储hash
hmset
存储
移除 languages 中的ruby元素
SREM languages ruby
移除key的所有元素
SMEMBERS not_exists_key
单个移除
SPOP db
删除集合并随机返回一个元素
移除
获取tool集合长度
SCARD tool
获取集合长度
SMEMBERS db
获取集合中所有元素
SINTER group_1 group_2
返回两个集合的交集
SUNION songs my_songs
返回两个集合的并集
SDIFF peter's_movies joe's_movies
返回两个集合的差集
获取
判断key为 joe's_movies 中是否含有"bet man"
SISMEMBER joe's_movies "bet man"
判断某个元素是不是当前set集合的元素
判断
Set
往key为page_rank集合中添加数值为10 的google.com 元素
ZADD page_rank 10 google.com
添加单个元素
ZADD page_rank 9 baidu.com 8 bing.com
添加多个元素
ZINCRBY salary 2000 tom
给指定的元素添加分数
添加
ZREM page_rank google.com
ZREM page_rank baidu.com bing.com
移除一个或者对个元素
移除指定索引区间的值
ZREMRANGEBYRANK salary 0 1
移除指定分数区间的值
ZREMRANGEBYSCORE salary 1500 3500
移除按照排名指定区间的数据
获取salary集合长度
ZCARD salary
正序从小到大
ZRANGE salary 200000 3000000 WITHSCORES
整个集合从小到大排序
ZRANGE salary 0 -1 WITHSCORES
递减排列
ZREVRANGE salary 0 -1 WITHSCORES
返回指定区间的元素
获取salary集合中分数在2000到5000之间的分数
ZCOUNT salary 2000 5000
获取指定分数区间的元素个数
获取salary集合 peter对应的分数
ZSCORE salary peter
获取指定元素的分数
zrevrangebyscore key max min [WITHSCORES] [LIMIT offset count]
指定分数区间分页查询
排序按照分数从小到大
zrank key member
排序按照分数从大到小
zrevrank key member
排序获取元素排名
Zset
setnx key value
setex key seconds value
字符串
重新设置 nosql 中指定field对应的数据
HSETNX nosql key-value-store redis
设置
将songs 集合中的"Believe Me"元素移动到my_songs
SMOVE songs my_songs "Believe Me"
set集合
把 source的list集合尾部元素添加到 目标元素的头部；并把值返回给客户端
rpoplpush source destination
上一个命令的阻塞版本
brpoplpush source destination timeout
移动元素到另外集合
MSET date "2012.3.30" time "11:00 a.m." weather "sunny" OK
Hash
批量存储
MGET date time weather
获取key 为pet中对应的field对应的数据
HMGET pet dog cat fake_pet
批量获取
MSETNX rmdbs "MySQL" nosql "MongoDB" key-value-store "redis"
批量设置
批量操作
返回mykey对应的value的长度
STRLEN mykey
返回key对应的field的个数
hlen key
list集合对应的长度
LLEN job
返回长度
相同操作
数据类型操作
没有设置存活时间
-1
还存活 10084秒
10084
TTL key
返回值是key存活的毫秒值
PTTL key
获取key存活还有多少存活时间
设置的时间为毫秒值
EXPIRE cache_page 30000
生存时间为1500毫秒值
PEXPIRE mykey 1500
移除key的生存时间
PERSIST mykey
设置生存时间
存活时间
指定key删除
DEL name
清除整个redis的数据
FLUSHDB
删除key
EXISTS phone
判断key是否存在
先批量设置key，value MSETone1two2three3four4
KEYS *o*
"two"
KEYS t??
KEYS t[w]*
模糊匹配获取key
返回值为随机的一个key
RANDOMKEY
随机返回一个key
把key为song 的值移动到数据库1里面；Redis默认的存放在第一个数据库
MOVE song 1
移动key到其他数据库
0，key不存在
1，成功
RENAME message greeting
新的key不存在的时候才会成功
renamenx key newkey
重命名key
TYPE weather
根据key获取value的数据类型
返回指定list，有序集合，无需集合拍过排序之后的结果
排序方式按照 数字大小，字母的自然排序
SORT
排序
DUMP
RESTORE
序列，反序列key
key操作
List
说明，只有Zset和List支持分页查询；
分页查询操作
获取经纬度的geoHash值
计算地理位置
特殊命令
redis命令
redis数据处理是单线程，memcache是多线程处理
线程操作
Redis支持更多更复杂的数据结构，memcache只支持keyvalue的字符串数据；
Redis支持数据的持久化，会把数据同步到磁盘上；memcache不支持数据的持久化
数据安全性
Redis支持数据备份，需要开启主从模式；memcache不支持数据备份
数据备份
REDIS支持更多的过期策略；memcache支持的过期策略少
过期策略
Redis与MemCache的区别
jedis
redisson
本质还是springBoot整合了jedis
springBoot+整合redis
开发模式
redis知识点总结
0 条评论
回复 删除
下一页
