redis开发与运维

10万/秒

键过期
发布订阅功能
Lua脚本功能
简单事务功能
Pipeline功能

缓存

排行榜系统

计数器应用

社交网络

消息队列系统

存储大数据成本高

冷数据放redis浪费资源

redis-server 启动redis
redis-cli redis命令行客户端
redis-benchmark redis基准测试工具
redis-check-aof redis aof 持久化文件检测和修复工具
redis-check-dump redis rdb 持久化文件检测和修复工具
redis-sentinel 启动redis sentinel

查看所有key

键总数

检查键是否存在

删除键

键过期

键的数据结构类型

string

hash

list

set

zset

通过object encoding查看内部编码

改变内部编码对外无任何感知

不同的编码可以在不同的场景中使用

redis使用单线程架构和IO多路复用模型

客户端执行命令

为什么单线程还能这么快？

常用命令

不常用命令

int

embstr

raw

会根据当前值的长度和类型来决定使用哪个编码

缓存功能

计数

共享session

限速

设置值

获取值

删除field

计算field个数

批量设置或获取field-value

判断field是否存在

获取所有field

获取所有value

获取所有的field-value

hincrby hincrbyfloat

计算value的字符串长度（3.2以上）

ziplist（压缩列表）

hashtable（哈希表）

相比字符串，使用哈希会让结构变得更加直观，而且更新便捷

用来存储多个有序的字符串

列表中的元素是有序的

列表中的元素是可以重复的

添加操作

查找

删除

修改

阻塞操作

ziplist（压缩列表）

linkedlist（链表）

当元素个数较少且没有大元素时，内部编码为ziplist
当元素个数超过512个，内部编码变为linkedlist
当某个元素超过64字节，内部编码使用linkedlist

消息队列

文章列表

保存多个字符串元素

与列表不同的是不能有重复元素，无序的

集合内操作

集合间操作

intset（整数集合）

hashtable（哈希表）

当元素个数较少且都为整数时，内部编码为intset
当元素个数超过512个，内部编码变为hashtable
当某个元素不为整数时，内部编码使用hashtable

标签功能

排行榜

社交

点赞功能

集合内

集合间

ziplist

skiplist

键重命名

随机返回一个键

键过期

迁移键

全量遍历键

渐进式遍历

切换数据库

flushdb/flushall

slowlog-log-slower-than:预设阈值，单位微妙 默认10000

slowlog-max-len:最多存储多少条

slowlog get [n]

n指定条数

slowlog len

slowlog reset

slowlog-max-len建议调大

slowlog-log-slower-than根据OPS来定，高OPS建议设置为1毫秒

定期记录慢查询日志

-r
命令执行多次
-i
每隔几秒执行一次命令，必须以-r一起使用
-c
连接redis cluster使用，防止moved和ask异常
-a
设置密码需要使用
--scan和--pattern
扫描指定模式的键
--slave
把客户端模拟成redis的从节点
--rdb
发送RDB持久化文件，保存在本地
--pipe
将命令封装到通道中
--bigkeys
找出内存中比较大的键值
--eval
执行lua脚本
--stat
实时获取redis重要统计信息
--raw --no-raw
--no-raw返回结果原始格式，--raw返回格式化后的结果

--test-memory
检测当前系统能否稳定分配指定容量内存给redis

-c
客户端并发数量
-n
客户端请求总量
-q
显示QPS
-r
插入更多随机的键
-P
每个请求pipeline的数据量
-k <boolean>
客户端是否使用keepalive，1使用，0不使用，默认为1
-t
指定命令进行基准测试
--csv
结果按照csv格式输出

组装数量需要考虑，不易太多

可以保证多个命令组合使用的原子性

事务表示一组动作，要么全部执行，要么全部不执行

redis是将一组命令放到multi和exec两个命令之间，multi表示事务开始，exec表示事务结束

discard可以停止事务执行

命令错误

运行时错误

可以使用watch来处理key被更改过的问题

eval

evalsha

redis.call使用lua命令

redis.pcall会忽略错误进行执行

好处

如何管理lua

计算机以二进制来存储信息

本身不是数据结构，其实是字符串

单独提供一套命令，有别于字符串命令

设置值

获取值

获取bitmaps指定范围值为1的个数

bitmaps间的运算

计算bitmaps中第一个值为targetBit的偏移量

集合类型：64位（每个用户id占用空间）*50000000(需要存储的用户量) = 400MB
Bitmaps:1位(每个用户id占用空间)*100000000(需要存储的用户量)=12.5MB

但是如果大部分用户不活跃，那么使用集合类型占用的内存更小

pfadd key element [element ...]

pfcount key [key ...]

pfmerge destkey sourcekey [sourcekey]

发布消息

订阅消息

取消订阅

按照模式订阅和取消订阅

查阅订阅

系统之间需要解耦

geoadd key longitude latitude member [longitude latitude member ...]

longitude:经度
latitude:纬度
member:成员

geopos key member [member ...]

geodist key member1 member2 [unit]

unit:返回结果的单位,m:米,km:公里,mi:英里,ft:尺

georadius key longitude latitude radiusm|km|ft|mi [withcoord] [withdist] [withhash] [COUNT count] [asc|desc] [store key] [storedist key]

georadiusbymember key member radiusm|km|ft|mi [withcoord] [withdist] [withhash] [COUNT count] [asc|desc] [store key] [storedist key]

withcoord:结果包含经纬度
withdist:结果包含离中心节点位置的距离
withhash:结果包含geohash
COUNT count:结果的数量
asc|desc:升序或降序
store key:结果保存到指定键
storedist key:结果离中心节点的距离保存到指定键

geohash key member [member ...]

zrem key member

手动触发

自动触发

1、执行bgsave命令，没有子进程在执行，才会创建成功
2、父进程执行fork操作创建子子进程，fork过程会阻塞，通过info stats命令查看最佳一个fork耗时
3、父进程fork完后，bgsave命令返回background saving started信息，并不在阻塞父进程，响应其他命令
4、子进程创建RDB文件，生成临时快照文件，替换原来的文件
5、进程发送信号给父进程表示完成，父进程更新统计信息

紧凑的二进制文件，适合用于备份，全量复制等场景
加载数据远远快于AOF

没办法做到实时持久化/秒级持久化
老版本redis无法兼容新版RDB格式

1、所有写入命令会追加到aof_buf缓冲区中
2、AOF缓冲区根据对应的策略向硬盘做同步操作
3、AOF超过配置最大值，会进行重写
4、redis重启时，会加载AOF文件进行数据恢复

set hello world
在aof文件中是以下格式
*3\r\n$3\r\nSET\r\n$5\r\nhello\r\n$5\r\nworld\r\n

提供多种缓冲区文件同步策略

由appendfsync参数配置

为了防止文件过大

手动触发

自动触发

流程

流程

如果文件损坏会进行校验

redis-check-aof --fix命令进行文件修复

1、配置文件中加入slaveof {masterHost} {masterPort}
2、redis-server启动命令后加入--slaveof {masterHost} {masterPort}
3、使用命令 slaveof {masterHost} {masterPort}

1、断开与主节点复制关系
2、从节点晋升为主节点

切主操作流程

主节点设置了密码，那么从节点必须使用auth来连接

默认情况下，从节点是开启只读模式

主从部署在不同机器上，存在网络延迟

1、保存主节点信息
2、从节点内部通过每秒运行的定时任务维护复制相关逻辑
3、发送ping命令
4、权限验证
5、同步数据集
6、命令持续复制

全量复制

部分复制

1、主从节点彼此都要心跳检测机制
2、主节点默认每隔10秒对从节点发送ping命令，判断从节点的存活性和连接状态
3、从节点在主线程中每隔1秒发送replconf ack {offset}命令，给主节点上报自身当前的复制偏移量

发现慢查询slowlog get {n}

如何发现大对象

单线程只能使用一个CPU

CPU饱和指CPU接近100%

fork阻塞

AOF刷盘阻塞

HugePage写阻塞

进程竞争

绑定CPU

redis连接拒绝

网络闪断

连接溢出

网络延迟

网络软中断

info memory

对象内存

缓冲内存

内存碎片

删除过期键策略

内存溢出控制策略

了解编码

控制编码类型

ziplist编码

intset编码

从节点的作用

存在的问题

主从复制没办法达到高可用

当主节点出现故障，sentinel会自动进行故障切换

sentinel本身也是分布式的

sentinel会对主节点和从节点进行监控

故障转移处理逻辑

有以下功能

若干sentinel节点好处

部署技巧

展示所有被监控的主节点状态以及相关的统计信息

展示指定master name的主节点状态以及相关的统计信息

展示指定master name的从节点状态以及相关的统计信息

展示指定<master name>的sentinel节点集合

返回指定<master name>主节点的IP地址和端口

当前sentinel节点对符合<pattern>主节点的配置进行重置

对指定<master name>主节点进行强制故障转移

检测当前可达的sentinel节点总数是否达到<quorum>的个数

将sentinel节点的配置强制刷到磁盘上

取消当前sentinel节点对于指定<master name>主节点的监控

这个命令和配置文件中的含义是完全一样的

动态修改sentinel节点配置选项

sentinel节点之间用来交换对主节点是否下线的判断

每隔10秒，每个sentinel节点会向主节点和从节点发送info命令获取最新的拓扑结构

每个2秒，每个sentinel节点会向redis数据节点的__sentinel__:hello频道上发送主节点、从节点、sentinel节点的信息

每个1秒，sentinel节点、主节点、从节点之前发送一条ping命令做一次心跳检测，确认这些节点是否可达

超过down-after-milliseconds没有有效回复，sentinel会判断该节点失败

当超过<quorum>个数，sentinel节点认为主节点确实有问题，sentinel节点认为客观下线

sentinel之间会选出一个领导，来进行故障转移

1、从节点列表中选出一个节点作为新的主节点

2、sentinel领导者会对第一步选出来的从节点执行slaveof no one命令让其成为主节点

3、sentinel领导者会向剩余的从节点发送命令，让它们成为新主节点的从节点

4、sentinel节点集合会将原来的主节点更新为从节点

把数据集按照分区规则映射到多个节点上

节点取余分区

一致性hash分区

虚拟槽分区

slot=CRC16(key)&16384

特点

key批量操作支持有限

key事件操作支持有限

key作为数据分区最小粒度，大的键值对象不能映射到不同的节点

不支持多数据库空间

复制结构只支持一层

至少6个节点可以保证高可用

cluster-enabled yes

查看节点状态：cluster nodes

通gossip进行通信

cluster meet {ip} {port}

获取集群当前状态：cluster info

redis把所有数据都映射到16384个槽中

添加槽：cluster addslots

用Ruby实现的集群管理工具

Ruby环境准备

准备节点

创建集群

集群完整性检查

采用gossip协议来维护元数据

每个节点都会开辟一个TCP通道

每个节点在特定时间内通知其他节点

接收到ping消息的节点会返回pong消息

主要职责是信息交换

ping消息

pong消息

meet消息

fail消息

选择发送消息的节点数量

消息数据量

准备新节点

加入集群

迁移槽和数据

下线迁移槽

忘记节点

请求节点是否为目标节点，不是则返回目标节点地址

计算槽

槽节点查找

smart客户端原理

主观下线

客观下线

资格检查

准备选举时间

发起选举

选举投票

替换主节点

整个故障转移花了多少时间

failover-time<=cluster-node-timeout+cluster-node-timeout/2 +1000

kill -9关闭某个主节点进行演练

16384个槽只要有一个没有指定到节点中，那么整个集群不可用

gossip本身会有带宽消耗

官方建议集群最大在1000以内

加重带宽

集群间会频繁广播

节点间数据量和请求量出现明显差异

数据倾斜

请求倾斜

只读连接

读写分离

redis-trib.rb的import功能

使用场景：量超过预值，对值进行剔除

一致性：开发人员没办法控制

维护成本：开发不需要实现算法，只需要配置策略

使用场景：设置过期时间，到时间之后自动删除

一致性：一定时间窗口内数据不一致

维护成本：不高，只需设置expire过期时间

使用场景：真实数据更新之后立刻更新缓存数据

一致性：最高，建议结合超时剔除一起使用

维护成本：比较高

低一致性业务：配置最大内存和淘汰策略

高一致性业务：超时剔除和主动更新

缓存全部数据：高

缓存部分数据：低

全部数据造成内存浪费

网络开销大，耗时大

系列化和反序列化的CPU开销大

缓存全部数据：大

缓存部分数据：小

缓存全部数据：简单

缓存部分数据：较为复杂

缓存层不命中

存储层不命中，不将空结果写回缓存

返回空结果

存储层不命中缓存空对象

判断用户是否存在，不存在就不访问数据

客户端批量操作涉及多次网络开销，节点越多，耗时增大

网络连接数变多，对节点性能有影响

命令本身优化

减少网络通信次数

降低接入成本

逐次执行n个get命令+n次网络请求

网络IO：O(keys)

使用mget或者Pipeline命令，node次网络时间+n次命令时间

网络IO：O(nodes)

对串行IO中的第二步使用多线程

网络IO：O(max_slow(nodes))

多个key强制分配到一个节点，1次网络时间+n次命令时间

网络IO：O(1)

key为热点key，并发很大

重建缓存需要很长时间

允许一个线程重建缓存，其他线程等待该线程执行完在去获取缓存

没有设置过期时间

存在逻辑过期时间，使用单独的线程重建缓存

vm.overcommit_memory=1

获取：cat /proc/sys/vm/overcommit_memory

设置：
echo "vm.overcommit_memory=1" >> /etc/sysctl.conf
sysctl vm.overcommit_memory=1

最佳实践

内存不足时，将一部分内页进行swap操作，已解燃眉之急

不同操作系统值不一样

值越低：表示操作系统更加倾向于使用物理内存

值越高：表示使用swap概率越高

设置：
echo {bestvalue} > /proc/sys/vm/swappiness   
echo vm.swappiness={bestvalue} >> /etc/sysctl.conf

如何监控swap

建议redis中关闭该配置

权值越高被杀掉的概率越高

降低该值，可以有效防止被杀掉

保证不同机器时间一致性的服务

查看当前用户进程资源数

ulimit -a

默认为511

查看：cat /proc/sys/net/core/somaxconn

设置：echo 511 > /proc/sys/net/core/somaxconn

缓存可以从数据库中再次获取

作为存储影响就比较大

去掉flushall命令

调大AOF重写参数

没有开启也没有执行save，bgsave命令，那么就没有数据被保存

开启了，可能数据有延迟

1、防止AOF重写
config set auto-aof-rewrite-percentage 1000

config set auto-aof-rewrite-min-size 1000000000000

2、去掉文件中的flush相关命令

3、重启主节点服务

redis所在机器有外网ip

端口为6379并对外网开放

以root用户启动

没有设置密码

bind设置为0.0.0.0或者""

简单密码机制

运维建议

rename-command

最佳实践

限制ip输入和输出

redis和哪个网卡进行绑定

建议

减少被发现的可能

内存空间不均匀

超时阻塞

网络拥塞

redis-cli --bigkeys

被动收集

主动检测（推荐）

删除会阻塞redis

string：使用del不会阻塞

hash\list\set\sorted set

使用监控系统监控bigkey

设计的时候需要注意数据量

维护一份key的调用次数

不知道有多少key，存在内存泄漏风险

有侵入性

无法做到通用

Twemproxy、Codis可以用来做统计

不通用，不是所有架构都会有代理层

monitor命令来统计热点key

redis-faina

存在影响性能的风险

只能统计一个redis的热点key，对于集群需要做汇总

对所有redis端口的TCP数据包进行抓取完成热点key的统计

需要开发成本，开源：ELK的packetbeat插件

需要了解集群需要做汇总

无侵入性

拆分复杂数据结构

迁移热点key

本地缓存加通知机制

部署成本

实例碎片化

监控、统计和管理不完善

运维、经济成本

监控统计

一键开启

Failover

可伸缩性

方便的客户端

元数据管理

流程化

一键导入

迁移数据

JDK7+

Maven3

MySQL5.5+

redis 2.8+

创建SSH用户

创建CacheCloud相关目录

安装最新的release版本的redis

执行脚本

修改机器相关的系统配置

添加配置

机器信息收集

申请账户

创建应用

接入应用

REST接口

Java客户端

全局信息

命令统计

统计报表

运行状态

内存使用情况

对象数

连接数

命中率

碎片化

角色

应用详情

用户管理

应用报警配置

命令调用总次数倒排序

每个节点近2天的慢查询

redis所有机器的拓扑信息

应用上下线

Redis Sentinel运维

Redis Cluster运维

配置管理

垂直扩容和水平扩容

管理员用户命令下拉菜单中导入应用链接

填写导入应用表单

对每次开启的reids添加配置模板

可以对AOF、RDB等文件进行数据迁移

redis-migrate-tool

报警功能

监控报警

机器相关

登录

机器报警

管理员报警和接口

客户端版本

登录相关

其他

客户端的耗时、值范围、异常

server：服务器信息
clients：客户端信息
memory：内存信息
persistence：持久化信息
stats：全局统计信息
replication：复制信息
cpu：CPU消耗信息
commandstats：命令统计信息
cluster：集群信息
keyspace：数据库键统计信息

daemonize 是否是守护进程
port 端口号
loglevel 日志级别
logfile 日志文件名
databases 可用的数据库数
unixsocket unix套接字
unixsocketperm unix套接字权限
pidfile redis运行的进程pid文件
lua-time-limit lua脚本超时时间
tcp-backlog tcp-backlog
watchdog-period 用户诊断redis的延迟问题
activerahashing 指定是否激活重置哈希
dir 工作目录

maxmemory 最大可用内存
maxmemory-policy 内存不够时，淘汰策略
maxmemory-samples 检测LRU采样数

appendonly 是否开启AOF持久化模式
appendfsync AOF同步磁盘频率
appendfilename AOF文件名
aof-load-truncated 加载AOF文件时是否忽略文件不完整的情况
no-appendfsync-on-rewrite 设置为yes表示rewrite期间对新写操作不fsync，暂时存在缓冲区中，等rewrite完成后再写入
auto-aof-rewrite-min-size 触发rewrite的AOF文件最小阈值（单位：兆）
auto-aof-rewrite-percentage 触发rewrite的AOF文件的增长比例条件
aof-rewrite-incremen-tal-fsync AOF重写过程中，是否采取增量文件同步策略

save RDB保存条件
dbfilename RDB文件名
rdbcompression RDB文件是否压缩
rdbchecksum RDB文件是否使用校验和
stop-writes-on-bgsave-error bgsave执行错误，是否停止redis接受写请求

slowlog-log-slower-than 慢查询被记录的阈值（单位微妙）
slowlog-max-len 最多纪录慢查询的条数
latency-monitor-threshold redis服务内存延迟监控

hash-max-ziplist-entries hash数据结构优化参数
hash-max-ziplist-value hash数据结构优化参数
list-max-ziplist-entries list数据结构优化参数
list-max-ziplist-value list数据结构优化参数
set-max-intset-entries set数据结构优化参数
zset-max-ziplist-entries zset数据结构优化参数
zset-max-ziplist-value zset数据结构优化参数
hll-sparse-max-bytes HyperLogLog数据结构优化参数

slaveof 指定当前从节点复制哪个主节点
repl-ping-slave-period 主节点定期向从节点发送ping命令的周期，用于判断从节点是否存活，单位秒
repl-timeout 主从节点复制超时时间，单位秒
repl-backlog-size 复制积压缓冲区大小
repl-backlog-ttl 主节点在没有从节点的情况下多长时间后释放复制积压缓存区空间
slave-priority 从节点的优先级
min-slaves-to-write、min-slaves-max-lag 当主节点发现从节点数量小于min-slaves-to-write且延迟小于等于min-slaves-max-lag时，master停止写入操作
slave-serve-stale-data 从节点与主节点连接中断时，如果为yes，从节点可以继续处理客户端的请求，否则拒绝所有请求，除了info、slaveof命令
slave-read-only 从节点是否开启只读模式，集群架构下从节点默认读写都不可用，需要调用readonly命令开启只读模式
repl-disable-tcp-nodelay 是否开启主从复制socket的NO_DELAY选项
repl-diskless-sync 是否开启无盘复制
repl-diskless-sync-delay 开启无盘复制后，需要延迟多少秒后进行创建RDB操作

maxclients 最大客户端连接数
client-output-buffer-limit 客户端输出缓冲区限制
timeout 客户端闲置多少秒后关闭连接 ，单位秒
tcp-keepalive 检测TCP连接活性的周期，单位秒

requirepass 密码
bind 绑定ip
masterauth 从节点需要配置的主节点密码