首页  思维导图  详情

redis

2021-02-14 22:49:03   34  举报





AI智能生成

为你推荐

查看更多



redis

Redis

Redis Server内核运行原理

redis

作者其他创作

大纲/内容

管道

一次请求/响应服务器能实现处理新的请求即使旧的请求还未被响应。这样就可以将多个命令发送到服务器，而不用等待回复，最后在一个步骤中读取该答复

$ (printf \"PING\\PING\\PING\\\"; sleep 1) | nc localhost 6379+PONG+PONG+PONG

使用管道时，服务器会通过队列返回数据，有可能占用大量内存。如果响应数据较大，最好分批次调用

布隆过滤器

持久化

rdb

指定的时间间隔对数据进行快照存储

优点

数据紧凑，适合备份数据

fork一个子进程，最大化利用redis性能，大量数据恢复比aof快

缺点

redis意外断电，会有数据丢失

数据量较大的时候，fork子进程会比较慢

工作方式

fork一个子进程

将数据集写到临时rdb文件

写完后用新rdb文件替换原有rdb文件，并删除元rdb文件

原理：写时复制

aof

记录每次服务器的操作，追加到文件末尾，重启时执行这些命令

可以使用无fsync或者每秒fsync

最多丢失1s的数据

只进行日志追加，写入失败可以用redis-check-aof工具修复

文件过大时会进行重写，包含恢复数据集的最小命令集

BGREWRITEAOF

顺序保存所有命令，易读，易处理

相同数据集比rdb的大

每秒fsync会比rdb慢，关闭fsync基本一样快

开启aof

appendonly yes

持久化方式

每秒执行一次fsync，和rdb一样快，但是有肯能会丢失1s的数据

从不fsync，交给操作系统执行，更快，但是也更不安全

写入停机，损坏修复方案

1.创建一个备份

2.用redis-check-aof –fix修复

3.可以用diff -u对比两个文件的不同，手工修复

混合型

重启时优先采用aof，因为数据会比rdb完整

redis可能发生的问题

缓存击穿

处理方案

1.设置key为永不过期

2.使用stnx加锁

缓存穿透

客户端请求的数据在缓存和数据库中都不存在

解决方案

1.将空值也缓存到redis，下次直接从redis取，并设置一个过期时间

2.可以设置key的格式，不符合规则的直接过滤掉

缓存雪崩

缓存同一时间大面积失效，请求都打db，导致cpu和负载过高，甚至db直接宕机

1.使用哨兵和主从保证高可用

2.进行限流，避免db被打死

3.数据持久化，重启可以恢复缓存

LUA脚本

基本数据类型

String

二进制安全

任何二进制序列都可以作为key

添加，取出

> set mykey somevalueOK> get mykey\"somevalue\"

原子递增

> set counter 100OK> incr counter(integer) 101> incr counter(integer) 102> incrby counter 50(integer) 152

INCRBY

DECR

DECRBY

一次存储或获取多个key

> mset a 10 b 20 c 30OK> mget a b c1) \"10\"2) \"20\"3) \"30\"

修改或查询键空间

EXISTS

> set mykey helloOK> exists mykey(integer) 1> del mykey(integer) 1> exists mykey(integer) 0

DEL

DEL命令返回1或0标识值是被删除(值存在)或者没被删除(key对应的值不存在)

TYPE

> set mykey xOK> type mykeystring> del mykey(integer) 1> type mykeynone

Redis超时:数据在限定时间内存活

设置超时

> set key some-valueOK> expire key 5(integer) 1> get key (immediately)\"some-value\"> get key (after some time)(nil)

PERSIST去除超时时间

剩余存活时间TTL

> set key 100 ex 10OK> ttl key(integer) 9

List

1.能快速在列表上添加元素

2.可以再常数时间获取常数长度

命令

LPUSH

向list的左边（头部）添加一个新元素

RPUSH

向list的右边（尾部）添加一个元素

LRANGE

取list一定范围内的元素

带有2个索引，-1表示最后一个元素，-2表示倒数第二个元素

使用

> rpush mylist A(integer) 1> rpush mylist B(integer) 2> lpush mylist first(integer) 3> lrange mylist 0 -11) \"first\"2) \"A\"3) \"B\"

> rpush mylist 1 2 3 4 5 \"foo bar\"(integer) 9> lrange mylist 0 -11) \"first\"2) \"A\"3) \"B\"4) \"1\"5) \"2\"6) \"3\"7) \"4\"8) \"5\"9) \"foo bar\"

pop删除元素，并返回删除的值

> rpush mylist a b c(integer) 3> rpop mylist\"c\"> rpop mylist\"b\"> rpop mylist\"a\"

没有可以弹出的元素

> rpop mylist(nil)

LTRIM把list从左边截取指定长度

> rpush mylist 1 2 3 4 5(integer) 5> ltrim mylist 0 2OK> lrange mylist 0 -11) \"1\"2) \"2\"3) \"3\"

应用场景

聊天系统

不同进程传递消息的队列

实现生产者消费者模型

非安全队列

BRPOP

BLPOP

安全队列

RPOPLPUSH

BRPOPLPUSH

Set

Set 是 String 的无序排列

sadd添加

> sadd myset 1 2 3(integer) 3

smembers获取成员

> smembers myset1. 32. 13. 2

sismember成员是否存在

> sismember myset 3(integer) 1> sismember myset 30(integer) 0

sinter取交集

> sinter tag:1:news tag:2:news tag:10:news tag:27:news... results here ...

sunion取并集

sdiff取差集

spop获取一个元素，并删除

SRANDMEMBER获取随机元素不删除

应用

表示对象间的关系

> sadd news:1000:tags 1 2 5 77(integer) 4

所有被打上相同标签的新闻列表：

> sadd tag:1:news 1000(integer) 1> sadd tag:2:news 1000(integer) 1> sadd tag:5:news 1000(integer) 1> sadd tag:77:news 1000(integer) 1

获取一个对象的所有 tag

> smembers news:1000:tags1. 52. 13. 774. 2

扑克游戏

创建一副牌

> sadd deck C1 C2 C3 C4 C5 C6 C7 C8 C9 C10 CJ CQ CK D1 D2 D3 D4 D5 D6 D7 D8 D9 D10 DJ DQ DK H1 H2 H3 H4 H5 H6 H7 H8 H9 H10 HJ HQ HK S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 SJ SQ SK (integer) 52

复用这副牌sunionstore(取并集)

> sunionstore game:1:deck deck(integer) 52

发牌

> spop game:1:deck\"C6\"> spop game:1:deck\"CQ\"> spop game:1:deck\"D1\"> spop game:1:deck\"CJ\"> spop game:1:deck\"SJ\"

scard获取set的基数

> scard game:1:deck(integer) 47

Hash

由键值对组成

添加删除

hset

hget

hmset

hgetAll

> hmset user:1000 username antirez birthyear 1977 verified 1OK> hget user:1000 username\"antirez\"> hget user:1000 birthyear\"1977\"> hgetall user:10001) \"username\"2) \"antirez\"3) \"birthyear\"4) \"1977\"5) \"verified\"6) \"1\"

原子增加

HINCRBY

> hincrby user:1000 birthyear 10(integer) 1987> hincrby user:1000 birthyear 10(integer) 1997

小的hash用特殊的编码存储，节省内存

Sorted Set

像set和hash的混合型

双端口的结构实现包含一个链表和一个hash表

zadd添加

> zadd hackers 1940 \"Alan Kay\"(integer) 1> zadd hackers 1957 \"Sophie Wilson\"(integer 1)> zadd hackers 1953 \"Richard Stallman\"(integer) 1> zadd hackers 1949 \"Anita Borg\"(integer) 1> zadd hackers 1965 \"Yukihiro Matsumoto\"(integer) 1> zadd hackers 1914 \"Hedy Lamarr\"(integer) 1> zadd hackers 1916 \"Claude Shannon\"(integer) 1> zadd hackers 1969 \"Linus Torvalds\"(integer) 1> zadd hackers 1912 \"Alan Turing\"(integer) 1

zadd key score value

时间复杂度O（log(N)）

zrange返回范围内已经排序好的元素

> zrange hackers 0 -11) \"Alan Turing\"2) \"Hedy Lamarr\"3) \"Claude Shannon\"4) \"Alan Kay\"5) \"Anita Borg\"6) \"Richard Stallman\"7) \"Sophie Wilson\"8) \"Yukihiro Matsumoto\"9) \"Linus Torvalds\"

ZREVRANGE倒叙排序

> zrevrange hackers 0 -11) \"Linus Torvalds\"2) \"Yukihiro Matsumoto\"3) \"Sophie Wilson\"4) \"Richard Stallman\"5) \"Anita Borg\"6) \"Alan Kay\"7) \"Claude Shannon\"8) \"Hedy Lamarr\"9) \"Alan Turing\"

WITHSCORES返回结果带store

> zrange hackers 0 -1 withscores1) \"Alan Turing\"2) \"1912\"3) \"Hedy Lamarr\"4) \"1914\"5) \"Claude Shannon\"6) \"1916\"7) \"Alan Kay\"8) \"1940\"9) \"Anita Borg\"10) \"1949\"11) \"Richard Stallman\"12) \"1953\"13) \"Sophie Wilson\"14) \"1957\"15) \"Yukihiro Matsumoto\"16) \"1965\"17) \"Linus Torvalds\"18) \"1969\"

ZRANGEBYSCORE返回指定区间的列表

-inf小于等于

> zrangebyscore hackers -inf 19501) \"Alan Turing\"2) \"Hedy Lamarr\"3) \"Claude Shannon\"4) \"Alan Kay\"5) \"Anita Borg\"

+inf大于等于

zremrangebyscore返回移除2个score区间的元素的数量

> zremrangebyscore hackers 1940 1960(integer) 4

zrank元素所在位置

> zrank hackers \"Anita Borg\"(integer) 4

按字典顺序

ZRANGEBYLEX

> zrangebylex hackers [B [P1) \"Claude Shannon\"2) \"Hedy Lamarr\"3) \"Linus Torvalds\"

ZREVRANGEBYLEX

ZREMRANGEBYLEX

ZLEXCOUNT

操作

添加

> zadd hackers 0 \"Alan Kay\" 0 \"Sophie Wilson\" 0 \"Richard Stallman\" 0 \"Anita Borg\" 0 \"Yukihiro Matsumoto\" 0 \"Hedy Lamarr\" 0 \"Claude Shannon\" 0 \"Linus Torvalds\" 0 \"Alan Turing\"

查询

> zrange hackers 0 -11) \"Alan Kay\"2) \"Alan Turing\"3) \"Anita Borg\"4) \"Claude Shannon\"5) \"Hedy Lamarr\"6) \"Linus Torvalds\"7) \"Richard Stallman\"8) \"Sophie Wilson\"9) \"Yukihiro Matsumoto\"

Leader boards排行榜

bitmap

不是一个实际的数据类型，是在String类型上定义的位操作

存取

setbit

SETBIT命令的第一个参数是位号，第二个参数是要设置位的值，即1或0。如果地址位超出当前字符串长度，该命令会自动扩大字符串。

getbit

> setbit key 10 1(integer) 1> getbit key 10(integer) 1> getbit key 11(integer) 0

BITOP对多个bitmap做与，或，异或，非的运算

AND

XOR

NOT

BITCOUNT统计二进制位中值为1的数量

> setbit key 0 1(integer) 0> setbit key 100 1(integer) 0> bitcount key(integer) 2

BITPOS返回第一个值为bit的二进制位置

> SETBIT bits 3 1 # 1000(integer) 0> BITPOS bits 0(integer) 0> BITPOS bits 1(integer) 3

hyperloglogs基数统计

在统计数量很大的情况下，基数统计需要的空间固定，而且小

只会根据输入的元素统计基数，不能像集合，返回具体元素

pfadd添加基数元素

pfcount返回基数估算值

pfmerge将多个基数合并

> pfadd hll a b c d (integer) 1 > pfcount hll (integer) 4

地理空间

GEOADD key longitude latitude member [longitude latitude member ...]

redis> GEOADD Sicily 13.361389 38.115556 \"Palermo\" 15.087269 37.502669 \"Catania\"(integer) 2redis> GEODIST Sicily Palermo Catania\"166274.15156960039\"redis> GEORADIUS Sicily 15 37 100 km1) \"Catania\"redis> GEORADIUS Sicily 15 37 200 km1) \"Palermo\"2) \"Catania\"redis>

redis

redis介绍

redis是单线程的

使用传统Blocking IO模型，在等待IO响应的时候，其他客户端的请求都会被阻塞因此采用多路复用IO

原理

调用select函数，同时监控多个文件描述符的可读可写状态

某些文件描述符是可读，可写状态，select 就会返回可读，可写文件描述符的个数

reactor模型

文件事件处理器使用 I/O 多路复用模块同时监听多个 FD，当 accept、read、write 和 close 文件事件产生时，文件事件处理器就会回调 FD 绑定的事件处理器

多路复用

select

保底方案

epoll

linux

evport

solaries

kqueue

macOS/FreeBSD

发布订阅

推送消息的格式

解耦

发布者将消息发布到不同的频道，不需要知道订阅者

订阅者订阅1个或多个频道，不需要知道发布者

订阅者和发布者之间解耦

订阅某个频道

> SUBSCRIBE runoobChat

publish

向某个频道推送消息

> PUBLISH runoobChat \"Redis PUBLISH test\"

unsubscribe

取消订阅

psubscribe

订阅符合条件的多个频道

PUNSUBSCRIBE news.*

punsubscribe

取消所有符合条件的频道

事务

子主题

MULTI

开启一个事务

> MULTIOK> INCR fooQUEUED> INCR barQUEUED> EXEC1) (integer) 12) (integer) 1

EXEC

触发并执行事务中的所有命令

DISCARD

放弃事务

> SET foo 1OK> MULTIOK> INCR fooQUEUED> DISCARDOK> GET foo\"1\"

WATCH

为 Redis 事务提供 check-and-set （CAS）行为

wahch的key被修改，则事务失败

WATCH mykeyval = GET mykeyval = val + 1MULTISET mykey $valEXEC

程序不断重试这个操作，知道没有碰撞为止

UNWATCH取消对键的监控

实现原子弹出元素

WATCH zsetelement = ZRANGE zset 0 0MULTIZREM zset elementEXEC

不支持回滚

只会因为语法而失败，是由于人为因素

保证快速

淘汰策略

always lru

近似LRU，选取少量key，回收最久未被访问的

maxmemory内存限制大小

回收策略

noeviction:返回错误当内存限制达到并且客户端尝试执行会让更多内存被使用的命令（大部分的写入指令，但DEL和几个例外）

allkeys-lru: 尝试回收最少使用的键（LRU），使得新添加的数据有空间存放。

allkeys-random: 回收随机的键使得新添加的数据有空间存放。

volatile-random: 回收随机的键使得新添加的数据有空间存放，但仅限于在过期集合的键。

集群

主从复制

涉及3个机制

1.master会发送数据流保证slave的更新

2.断开重连，会进行增量同步

3.无法进行增量同步的时候，会通过快照进行全量同步

默认使用异步复制

复制在master和slave侧都是非阻塞的，可以同时处理查询请求

复制在slave侧大部分都是非阻塞的，可以同时处理查询请求

当 master 关闭持久化时，复制的安全性

应该配置实例来避免重置后自动重启。

master故障自动重启，会导致数据情况，在slave同步时slave也会被清空

sentinel下自动重启做够快也会导致这个问题，因此需要关闭自动重启功能

无需磁盘参与的复制

哨兵

作用：

1.监控

2.提醒

3.自动故障迁移

启动哨兵

redis-server /path/to/sentinel.conf --sentinel

运行一个哨兵最少配置

sentinel monitor mymaster 127.0.0.1 6379 2sentinel down-after-milliseconds mymaster 60000sentinel failover-timeout mymaster 180000sentinel parallel-syncs mymaster 1sentinel monitor resque 192.168.1.3 6380 4sentinel down-after-milliseconds resque 10000sentinel failover-timeout resque 180000sentinel parallel-syncs resque 5

下线

主观下线

Subjectively Down，简称 SDOWN

单个sentinel对服务器做下线判断

客观下线

Objectively Down，简称 ODOWN

多个sentinel对服务器做sDOWN判断

代理的使用

cluster

sharding分片

未使用一致性hash

redis没使用这种方式