redis开发与运维
2019-12-30 10:54:58 117 举报AI智能生成
登录查看完整内容
redis开发与运维阅读笔记
作者其他创作
大纲/内容
键值对NoSql数据库
很多数据结构
满足很多应用场景
盛赞redis
10万/秒
速度快
键值对的数据结构服务器
键过期发布订阅功能Lua脚本功能简单事务功能Pipeline功能
丰富的功能
客户端语言多
持久化
主从复制
高可用与分布式
redis特性
缓存
排行榜系统
计数器应用
社交网络
消息队列系统
redis可以做什么
存储大数据成本高
冷数据放redis浪费资源
redis不可以做什么
redis使用场景
切勿当做黑盒使用，开发与运维同样重要
阅读源码
用好redis的建议
linux、windows下安装
redis-server 启动redisredis-cli redis命令行客户端redis-benchmark redis基准测试工具redis-check-aof redis aof 持久化文件检测和修复工具redis-check-dump redis rdb 持久化文件检测和修复工具redis-sentinel 启动redis sentinel
配置、启动、操作、关闭redis
正确安装并启动redis
第二位是奇数表示开发版本
第二位是偶数表示稳定版本
重大版本
初识redis
key *
时间复杂度为O(n)
查看所有key
dbsize
时间复杂度为O(1)
键总数
存在返回1 否则返回0
exists key
检查键是否存在
del key [key...]
可以同时删除多个key
时间复杂度：O(k)，k为键的个数
删除键
expire key seconds
单位为秒
键过期
type key
键的数据结构类型
全局命令
raw
int
embstr
内部编码
string
hashtable
ziplist
hash
linkedlist
list
intset
set
skiplist
zset
通过object encoding查看内部编码
改变内部编码对外无任何感知
不同的编码可以在不同的场景中使用
数据结构和内部编码
redis使用单线程架构和IO多路复用模型
发送命令
执行命令
返回结果
客户端执行命令
纯内存访问
IO多路复用
自身事件模型
非阻塞IO
单线程避免了线程切换和竞态产生的消耗
为什么单线程还能这么快？
单线程架构
预备
最基础的数据结构，其他几种数据类型在它基础上构建的
值可以是字符串、数字、二进制
值最大是512M
ex seconds 为键设置的秒级过期时间px milliseconds 为键设置毫秒级过期时间nx 键必须不存在才可以设置成功，用于添加xx 与nx相反，键必须存在才可以设置成功，用于更新
set key value [ex seconds] [px milliseconds] [nx|xx]
setex key seconds valuesetnx key value
时间复杂度：O(1)
设置值
get key
获取值
mset key value [key value ...]
批量设置值
mget key [key ...]
批量获取值
incr key
自增
decr key
自减
incrby key increment
自增指定数字
decrby key decrement
自减指定数字
incrbyfloat key increment
自增浮点数
计数
常用命令
append key value
追加值
strlen key
字符串长度
getset key value
设置并返回原值
setrange key offeset value
设置指定位置的字符
getrange key start end
获取部分字符串
不常用命令
命令
8个字节的长整型
小于等于39个字节的字符串
大于39个字节的字符串
会根据当前值的长度和类型来决定使用哪个编码
缓存功能
共享session
限速
典型使用场景
字符串
在redis中hash是指value又是键值对结构
hset key field value
hget key field
hdel key field [field...]
时间复杂度：O(k) k为field个数
删除field
hlen key
计算field个数
hmget key field [field ...]hmset key field value [field value]
批量设置或获取field-value
hexists key field
判断field是否存在
hkeys key
时间复杂度：O(n) n为field总数
获取所有field
hvals key
获取所有value
hgetall key
获取所有的field-value
hincrby key fieldhincrbyfloat key field
hincrby hincrbyfloat
hstrlen key value
计算value的字符串长度（3.2以上）
优先使用该编码，不满足条件之后会使用hashtable
ziplist（压缩列表）
hashtable（哈希表）
相比字符串，使用哈希会让结构变得更加直观，而且更新便捷
使用场景
哈希
用来存储多个有序的字符串
列表中的元素是有序的
列表中的元素是可以重复的
前言
rpush key value [value ...]
从右边插入
lpush key value [value ...]
从左边插入
linsert key before|after pivot value
向某个元素前或者后插入
添加操作
end包含自身
从左到右0到N-1
从右到左-1到-N
lrange key start end
获取指定范围内的元素列表
lindex key index
时间复杂度O(n)，n是索引的偏移量
获取列表指定索引下标的元素
llen key
获取列表长度
查找
lpop key
从列表左侧弹出元素
rpop key
从列表右侧弹出
lrem key count value
时间复杂度O(n)，n是列表的长度
删除指定元素
ltrim key start end
时间复杂度O(n)，n是要裁剪的元素总数
按照索引范围修剪列表
删除
lset key index newValue
修改
timeout：阻塞时间，单位秒
blpop key [key ...] timeoutbrpop key [key ...] timeout
阻塞操作
linkedlist（链表）
当元素个数较少且没有大元素时，内部编码为ziplist当元素个数超过512个，内部编码变为linkedlist当某个元素超过64字节，内部编码使用linkedlist
消息队列
文章列表
列表
保存多个字符串元素
与列表不同的是不能有重复元素，无序的
sadd key element [element ...]
时间复杂度：O(k) k是元素个数
添加元素
srem key element [element ...]
删除元素
scard key
计算元素个数
sismember key element
判断元素是否在集合中
srandmember key [count]
时间复杂度：O(count)
随机从集合返回指定个数元素
spop key
从集合随机弹出元素
smembers key
时间复杂度：O(k) k是元素总数
获取所有元素
集合内操作
sinter key [key ...]
时间复杂度：O(m*k) k是多个集合中元素最少的个数，m是键个数
求多个集合的交集
suinon key [key ...]
时间复杂度：O(k) k是多个集合元素个数和
求多个集合的并集
sdiff key [key ...]
求多个集合的差集
sinterstore destination key [key ...]
suionstore destination key [key ...]
sdiffstore destination key [key ...]
将交集、并集、差集的结果保存
集合间操作
intset（整数集合）
当元素个数较少且都为整数时，内部编码为intset当元素个数超过512个，内部编码变为hashtable当某个元素不为整数时，内部编码使用hashtable
给用户添加标签
给标签添加用户
删除用户下的标签
删除标签下的用户
标签功能
集合
给每个元素设置分数，用来作为排序
排行榜
社交
点赞功能
应用场景
zadd key score member [score member ...]
时间复杂度：O(k*log(n)) k成员个数 n集合成员个数
添加成员
zcard key
计算成员个数
zscore key member
计算某个成员的分数
zrank key memberzrevrank key member
时间复杂度：O(log(n))
计算成员排名
zrem key member [member ...]
删除成员
zincrby key increment member
时间复杂度：O(log(n))
增加成员的分数
zrange key start end [withscores]zrevrange key start end [withscores]
时间复杂度：O(log(n)+k)
返回指定排名范围的成员
zrangebyscore key min max [withscores] [limit offset count]zrevrangebyscore key max min [withscores] [limit offset count]
返回指定分数范围的成员
zcount key min max
返回指定分数范围成员个数
zremrangebyrank key start end
删除指定排名内的升序元素
zremrangebyscore key min max
删除指定分数范围的成员
集合内
zinterstore destination numkeys key [key ...] [weights weight [weight ...]] [aggregate sum|min|max]
destination：交集计算结果保存到这个键numkeys：需要做交集计算键的个数key [key ...]:需要做交集计算的键weights weight [weight ...]:每个键的权重，每个member的分数乘以这个权重，默认是1aggregate sum|min|max:计算成员交集后，按照和、最小值、最大值做汇总，默认是sum
时间复杂度：O(n*k)+O(m*log(m)) n是成员数最小的集合成员个数，k是有序集合的个数，m是结果及中成员个数
交集
zunionstore destination numkeys key [key ...] [weights weight [weight ...]] [aggregate sum|min|max]
时间复杂度：O(n)+O(m*log(m)) n是所有集合成员个数和，m是结果集中成员个数
并集
集合间
有序集合
rename key newkey
键重命名
randomkey
随机返回一个键
expire key seconds/timestamp
move key db
dump keyrestore key tll value
migrate
迁移键
单个键管理
keys pattern
全量遍历键
scan cursor [match pattern] [count number]
scan
渐进式遍历
遍历键
select dbindex
切换数据库
flushdb/flushall
数据库管理
键管理
API的理解和使用
记录超过阈值的命令
slowlog-log-slower-than:预设阈值，单位微妙 默认10000
slowlog-max-len:最多存储多少条
慢查询的两个配置参数
slowlog get [n]
n指定条数
获取慢查询日志
slowlog len
获取慢查询日志列表当前的长度
slowlog reset
慢查询日志重置
slowlog-max-len建议调大
slowlog-log-slower-than根据OPS来定，高OPS建议设置为1毫秒
定期记录慢查询日志
最佳实践
慢查询分析
-r命令执行多次-i每隔几秒执行一次命令，必须以-r一起使用-c连接redis cluster使用，防止moved和ask异常-a设置密码需要使用--scan和--pattern扫描指定模式的键--slave把客户端模拟成redis的从节点--rdb发送RDB持久化文件，保存在本地--pipe将命令封装到通道中--bigkeys找出内存中比较大的键值--eval执行lua脚本--stat实时获取redis重要统计信息--raw --no-raw--no-raw返回结果原始格式，--raw返回格式化后的结果
redis-cli
--test-memory检测当前系统能否稳定分配指定容量内存给redis
redis-server
-c客户端并发数量-n客户端请求总量-q显示QPS-r插入更多随机的键-P每个请求pipeline的数据量-k <boolean>客户端是否使用keepalive，1使用，0不使用，默认为1-t指定命令进行基准测试--csv结果按照csv格式输出
redis-benchmark
redis shell
将命令组装一次性发给redis，结果按顺序返回
组装数量需要考虑，不易太多
pipeline
可以保证多个命令组合使用的原子性
事务表示一组动作，要么全部执行，要么全部不执行
redis是将一组命令放到multi和exec两个命令之间，multi表示事务开始，exec表示事务结束
discard可以停止事务执行
会导致整个事务无法执行
命令错误
部分命令执行成功，redis没办法自动回滚，需要手动处理
运行时错误
可以使用watch来处理key被更改过的问题
事务
eval 脚本内容 key个数 key列表 参数列表
eval
会把lua脚本加载到redis服务端
evalsha 脚本SHA1值 key个数 key列表 参数列表
evalsha
redis.call使用lua命令
redis.pcall会忽略错误进行执行
原子执行，过程中不会插入其他命令
可以定制命令，并得到复用
打包多条命令，减少网络开销
好处
将脚本加载到redis内存中
script load 脚本
script load
script exists sha1 [sha1 ...]
判断sha1是否在内存中
script exists
清除所有加载到内存的脚本
script flush
杀掉正在执行的脚本
script kill
如何管理lua
lua用法简介
事务与lua
计算机以二进制来存储信息
本身不是数据结构，其实是字符串
单独提供一套命令，有别于字符串命令
数据结构模型
setbit key offset value
setbit key offset
bitcount [start] [end]
获取bitmaps指定范围值为1的个数
bitop op destkey key [key....]
可以做并集、交集、非、异或
bitmaps间的运算
bitpos key targetBit [start] [end]
计算bitmaps中第一个值为targetBit的偏移量
集合类型：64位（每个用户id占用空间）*50000000(需要存储的用户量) = 400MBBitmaps:1位(每个用户id占用空间)*100000000(需要存储的用户量)=12.5MB
但是如果大部分用户不活跃，那么使用集合类型占用的内存更小
分析
bitmaps
实际类型为字符串类型
可以使用极少的内存完成总数的统计
pfadd key element [element ...]
添加
pfcount key [key ...]
计算独立用户数
pfmerge destkey sourcekey [sourcekey]
合并
存在0.81%的误差
HyperLogLog
publish channel message
发布消息
subscribe channel [channel ...]
订阅消息
unsubscribe channel [channel ...]
取消订阅
psubscribe pattern [pattern...]punsubscribe [pattern [pattern ...]]
按照模式订阅和取消订阅
pubsub channels [pattern]
查看活跃的频道
pubsub numsub [channel ...]
查看频道订阅数
pubsub numpat
查看模式订阅数
查阅订阅
系统之间需要解耦
发布订阅
redis 3.2及以上
地理信息定位
geoadd key longitude latitude member [longitude latitude member ...]
longitude:经度latitude:纬度member:成员
增加地理位置信息
geopos key member [member ...]
获取地理位置信息
geodist key member1 member2 [unit]
获取两个地址位置的距离
georadius key longitude latitude radiusm|km|ft|mi [withcoord] [withdist] [withhash] [COUNT count] [asc|desc] [store key] [storedist key]
georadiusbymember key member radiusm|km|ft|mi [withcoord] [withdist] [withhash] [COUNT count] [asc|desc] [store key] [storedist key]
withcoord:结果包含经纬度withdist:结果包含离中心节点位置的距离withhash:结果包含geohashCOUNT count:结果的数量asc|desc:升序或降序store key:结果保存到指定键storedist key:结果离中心节点的距离保存到指定键
获取指定位置范围内的地理信息位置集合
geohash key member [member ...]
获取geohash
zrem key member
删除地理位置信息
GEO
小功能大用处
*<参数数量> \\$<参数1的字节数量> \\<参数1> \\...$<参数N的字节数量> \\<参数N> \\
set hello world*3\\$3\\SET\\$5\\hello\\$5\\world\\
发送命令格式
状态回复：第一个字节为+错误回复：第一个字节为-整数回复：第一个字节为:字符串回复：第一个字节为$多条字符串回复：第一个字节为*
返回结果格式
maxActive：最大连接数，默认8maxIdle：最大空闲的连接数，默认8minIdle：最少空闲的连接数，默认0maxWaitMillis：资源用尽后，调用者最大等待时间，单位为毫秒，默认-1，永远不超时，一直等jmxEnabled：是否开启jmx监控，默认为trueminEvictableIdleTimeMillis：连接的最小空闲时间，默认30分钟numTestsPerEvictionRun:做空闲连接检测时，每次的采样数，默认3testOnBorrow:向连接池借用连接时是否做连接有效性检测，无效连接会被移除，默认falsetestOnReturn：向连接池归还连接时是否做连接有效性检测，无效连接会被移除，默认falsetestWhileIdle：向连接池借用连接时是否做连接空闲检测，空闲超时的连接会被移除，默认falsetimeBetweenEvictionRunsMillis：空闲连接的检测周期，单位为毫秒，默认-1，表示不做检测blockWhenExhausted：当连接池用尽后，调用者是否要等待，为true时maxWaitMills才会生效，默认true
java客户端jedis
客户端
当前进程数据生成一份快照保存在硬盘的过程
阻塞redis服务器，直到持久化完成
save
fork一个子进程，由子进程完成持久化
bgsave
手动触发
满足save n m条件 就会自动触发，即m秒内数据集发生n次改变
debug reload
自动触发
触发机制
1、执行bgsave命令，没有子进程在执行，才会创建成功2、父进程执行fork操作创建子子进程，fork过程会阻塞，通过info stats命令查看最佳一个fork耗时3、父进程fork完后，bgsave命令返回background saving started信息，并不在阻塞父进程，响应其他命令4、子进程创建RDB文件，生成临时快照文件，替换原来的文件5、进程发送信号给父进程表示完成，父进程更新统计信息
流程说明
文件保存在dir配置下
紧凑的二进制文件，适合用于备份，全量复制等场景加载数据远远快于AOF
优点
没办法做到实时持久化/秒级持久化老版本redis无法兼容新版RDB格式
缺点
RDB
以独立日志方式记录每次写命令，重启时再重新执行AOF文件中的命令来恢复数据的目的，解决数据持久化的实时性。
开启配置：appendonly yes；默认不开启
1、所有写入命令会追加到aof_buf缓冲区中2、AOF缓冲区根据对应的策略向硬盘做同步操作3、AOF超过配置最大值，会进行重写4、redis重启时，会加载AOF文件进行数据恢复
流程
set hello world在aof文件中是以下格式*3\\$3\\SET\\$5\\hello\\$5\\world\\
命令写入
提供多种缓冲区文件同步策略
always：每一个命令调用fsync把缓存同步到aof文件everysec：每秒调用一次fsync把缓存同步到aof文件no：不对AOF文件做fsync，交给操作系统来同步，通常周期最长30秒
由appendfsync参数配置
文件同步
为了防止文件过大
bgrewriteaof
auto-aof-rewrite-min-size和auto-aof-rewrite-percentage
1、执行AOF重写请求2、父进程执行fork创建子进程3、父进程fork完后继续响应其他命令4、子进程根据内存快照，按照命令合并规则写入到新的AOF文件5、新AOF文件写入完成后，子进程发送信号给父进程，父进程更新统计信息，父进程把AOF重写缓冲区的数据写入到新的AOF文件，使用新AOF文件替换老文件，完成AOF重写
重写机制
1、AOF持久化开启且存在AOF文件时，优先加载AOF文件2、AOF关闭或者AOF文件不存在时，加载RDB文件3、加载AOF/RDB文件成功后，redis启动成功4、AOF/RDB文件存在错误时，redis启动失败并打印错误信息
重启加载
如果文件损坏会进行校验
redis-check-aof --fix命令进行文件修复
文件检验
AOF
1、配置文件中加入slaveof {masterHost} {masterPort}2、redis-server启动命令后加入--slaveof {masterHost} {masterPort}3、使用命令 slaveof {masterHost} {masterPort}
建立复制
1、断开与主节点复制关系2、从节点晋升为主节点
1、断开与旧主节点复制关系2、与新主节点建立复制关系3、删除从节点当前所有数据4、对新主节点进行复制操作
切主操作流程
断开复制
主节点设置了密码，那么从节点必须使用auth来连接
安全性
默认情况下，从节点是开启只读模式
只读
主从部署在不同机器上，存在网络延迟
传输延迟
配置
一主一从
一主多从
树状主从结构
拓扑
1、保存主节点信息2、从节点内部通过每秒运行的定时任务维护复制相关逻辑3、发送ping命令4、权限验证5、同步数据集6、命令持续复制
全量复制
部分复制
数据同步
1、主从节点彼此都要心跳检测机制2、主节点默认每隔10秒对从节点发送ping命令，判断从节点的存活性和连接状态3、从节点在主线程中每隔1秒发送replconf ack {offset}命令，给主节点上报自身当前的复制偏移量
心跳判断机制
原理
读写分离存在延迟
读到过期的数据
主从配置不一致
规避全量复制
规避复制风暴
存在问题
复制
出现jedisConnectionException异常
发现异常进行通知
发现阻塞
发现慢查询slowlog get {n}
redis-cli -h {ip} -p {port} bigkeys
如何发现大对象
API或数据结构使用不合理
单线程只能使用一个CPU
CPU饱和指CPU接近100%
CPU饱和的问题
fork阻塞
AOF刷盘阻塞
HugePage写阻塞
持久化相关的阻塞
内在原因
进程竞争
绑定CPU
CPU竞争
内存交换
redis连接拒绝
网络闪断
连接溢出
网络延迟
网络软中断
网络问题
外在原因
redis的噩梦：阻塞
info memory
内存使用统计
对象内存
缓冲内存
内存碎片
内存消耗划分
子进程内存消耗
内存消耗
设置内存上限
动态调整内存上限
惰性删除
定时任务删除
删除过期键策略
内存溢出控制策略
内存回收策略
内存管理
redisObject对象
缩减键值对象
共享对象池
字符串优化
了解编码
控制编码类型
ziplist编码
intset编码
编码优化
控制键的数量
内存优化
理解内存
主节点：redis主服务从节点：redis从服务redis数据节点：主节点和从节点sentinel节点：监控redis数据节点sentinel节点集合：若干sentinel节点的抽象组合redis sentinel：redis高可用实现方案应用方：泛指一个或多个客户端
是redis的高可用方案
可以将主节点的数据到从节点
从节点可以作为主节点的备份
从节点可以扩展主节点的读能力
从节点的作用
主节点出现问题，需要手动操作
主节点的写能力受单机限制
主节点的存储能力受单机限制
存在的问题
主从复制没办法达到高可用
主从复制的问题
当主节点出现故障，sentinel会自动进行故障切换
sentinel本身也是分布式的
sentinel会对主节点和从节点进行监控
1、主节点出现故障，从节点与主节点失去连接，主从复制失败
2、每个sentinel节点通过定期监控发现主节点出现了故障
3、多个sentinel节点对主节点的故障达成一致，选举出某个sentinel节点作为领导者负责故障转移
4、sentinel领导者节点执行了故障转移
故障转移处理逻辑
监控
通知
主节点故障转移
配置提供者
有以下功能
多个sentinel节点判断是否故障，防止误判
提供健壮性
若干sentinel节点好处
sentinel不应该部署在同一台物理机器上
部署至少3个且奇数个节点
优点：降低维护成本
缺点：sentinel不可用影响多个redis数据节点，产生过多的网络连接
一套sentinel
优点：相互隔离，不影响
缺点：浪费资源
多套sentinel
部署技巧
redis sentinel
概念
展示所有被监控的主节点状态以及相关的统计信息
sentinel masters
展示指定master name的主节点状态以及相关的统计信息
sentinel master <master name>
展示指定master name的从节点状态以及相关的统计信息
sentinel slaves <master name>
展示指定<master name>的sentinel节点集合
sentinel sentinels <master name>
返回指定<master name>主节点的IP地址和端口
sentinel get-master-addr-by-name <master name>
当前sentinel节点对符合<pattern>主节点的配置进行重置
sentinel reset <pattern>
对指定<master name>主节点进行强制故障转移
sentinel failover <master name>
检测当前可达的sentinel节点总数是否达到<quorum>的个数
sentinel ckquorum <master name>
将sentinel节点的配置强制刷到磁盘上
sentinel flushconfig
取消当前sentinel节点对于指定<master name>主节点的监控
sentinel remove <master name>
这个命令和配置文件中的含义是完全一样的
sentinel monitor <master name> <ip> <port> <quorum>
动态修改sentinel节点配置选项
sentinel set <master name>
sentinel节点之间用来交换对主节点是否下线的判断
sentinel is-master-down-by-addr
API
每隔10秒，每个sentinel节点会向主节点和从节点发送info命令获取最新的拓扑结构
每个2秒，每个sentinel节点会向redis数据节点的__sentinel__:hello频道上发送主节点、从节点、sentinel节点的信息
每个1秒，sentinel节点、主节点、从节点之前发送一条ping命令做一次心跳检测，确认这些节点是否可达
三个定时监控任务
超过down-after-milliseconds没有有效回复，sentinel会判断该节点失败
主观下线
当超过<quorum>个数，sentinel节点认为主节点确实有问题，sentinel节点认为客观下线
客观下线
sentinel之间会选出一个领导，来进行故障转移
领导者sentinel节点选举
过滤不健康的从节点，超过down-after-milliseconds*10秒
选择slave-priority最高的从节点列表
选择复制偏移量最大的从节点
选择runid最小的从节点
1、从节点列表中选出一个节点作为新的主节点
2、sentinel领导者会对第一步选出来的从节点执行slaveof no one命令让其成为主节点
3、sentinel领导者会向剩余的从节点发送命令，让它们成为新主节点的从节点
4、sentinel节点集合会将原来的主节点更新为从节点
故障转移
实现原理
哨兵
把数据集按照分区规则映射到多个节点上
使用特定的数据，在对hash(keys)%N算出hash值。
数据丢失较多
节点取余分区
为系统每个节点分配一个token，范围在0～2 32，这些token构成一个hash环，查找节点的时候顺时针找到第一个节点。
丢失1/3数据
数据不均匀
一致性hash分区
把所有数据映射到一个固定范围的数据集合中，槽范围为0～16383。
虚拟槽分区
数据分布理论
slot=CRC16(key)&16384
解耦数据和节点之间的关系
节点自身维护槽的映射关系
支持槽、节点、键之间的映射查询
特点
redis数据分区
key批量操作支持有限
key事件操作支持有限
key作为数据分区最小粒度，大的键值对象不能映射到不同的节点
不支持多数据库空间
复制结构只支持一层
集群功能限制
数据分布
至少6个节点可以保证高可用
cluster-enabled yes
查看节点状态：cluster nodes
准备节点
通gossip进行通信
cluster meet {ip} {port}
获取集群当前状态：cluster info
节点握手
redis把所有数据都映射到16384个槽中
添加槽：cluster addslots
分配槽
用Ruby实现的集群管理工具
Ruby环境准备
创建集群
集群完整性检查
用redis-trib.rb搭建集群
搭建集群
采用gossip协议来维护元数据
每个节点都会开辟一个TCP通道
每个节点在特定时间内通知其他节点
接收到ping消息的节点会返回pong消息
通信流程
主要职责是信息交换
集群内交换最频繁的消息
ping消息
当接收到ping、meet消息后作出回应
pong消息
用于通知新节点加入
meet消息
判断某个节点下线会发生该类型消息
fail消息
gossip消息
定时任务每秒执行10次
找出5个最久没通信的节点
选择发送消息的节点数量
过大的集群会使消息数量变大
消息数据量
节点选择
节点通信
灵活的节点扩容和收缩方案，主要得益于槽的灵活变动
准备新节点
加入集群
迁移槽和数据
扩容集群
下线迁移槽
忘记节点
收缩集群
集群伸缩
请求节点是否为目标节点，不是则返回目标节点地址
计算槽
槽节点查找
请求重定向
内部维护slot-node映射关系
如果报错，那么重新维护关系
smart客户端原理
smart客户端
请求路由
一个节点认为某个节点挂了
大部分节点都认为某个节点挂了
故障发现
是否符合竞选条件
资格检查
条件越好的越早竞选
准备选举时间
发起选举
选举投票
替换主节点
故障恢复
整个故障转移花了多少时间
failover-time<=cluster-node-timeout+cluster-node-timeout/2 +1000
故障转移时间
kill -9关闭某个主节点进行演练
故障转移演练
16384个槽只要有一个没有指定到节点中，那么整个集群不可用
集群完整性
gossip本身会有带宽消耗
官方建议集群最大在1000以内
带宽消耗
加重带宽
集群间会频繁广播
Pub/Sub广播问题
节点间数据量和请求量出现明显差异
节点和槽分配严重不均不同槽对应键数量差异过大集合对象包含大量元素内存相关配置不一致
数据倾斜
合理设计键不要使用热键作为hash_tag客户端可使用本地缓存减少热键调用
请求倾斜
集群倾斜
从节点不接收任何读写请求
readonly开启读
只读连接
读写分离
集群读写分离
手动故障转移
redis-trib.rb的import功能
数据迁移
集群运维
集群
加速读写
降低后端负载
缓存的收益
数据不一致性
代码维护成本
运维成本
缓存的成本
开销大的复杂计算
加速请求响应
缓存使用场景
使用场景：量超过预值，对值进行剔除
一致性：开发人员没办法控制
维护成本：开发不需要实现算法，只需要配置策略
LRU LFU FIFO算法剔除
使用场景：设置过期时间，到时间之后自动删除
一致性：一定时间窗口内数据不一致
维护成本：不高，只需设置expire过期时间
超时剔除
使用场景：真实数据更新之后立刻更新缓存数据
一致性：最高，建议结合超时剔除一起使用
维护成本：比较高
主动更新
低一致性业务：配置最大内存和淘汰策略
高一致性业务：超时剔除和主动更新
缓存更新策略
缓存全部数据：高
缓存部分数据：低
通用性
全部数据造成内存浪费
网络开销大，耗时大
系列化和反序列化的CPU开销大
缓存全部数据：大
缓存部分数据：小
空间占用
缓存全部数据：简单
缓存部分数据：较为复杂
代码维护
缓存粒度控制
缓存层不命中
存储层不命中，不将空结果写回缓存
返回空结果
过程分析
存储层不命中缓存空对象
缓存空对象
判断用户是否存在，不存在就不访问数据
布隆过滤器拦截
穿透优化
客户端批量操作涉及多次网络开销，节点越多，耗时增大
网络连接数变多，对节点性能有影响
问题分析
命令本身优化
减少网络通信次数
降低接入成本
常见IO优化思路
逐次执行n个get命令+n次网络请求
网络IO：O(keys)
串行命令
使用mget或者Pipeline命令，node次网络时间+n次命令时间
网络IO：O(nodes)
串行IO
对串行IO中的第二步使用多线程
网络IO：O(max_slow(nodes))
并行IO
多个key强制分配到一个节点，1次网络时间+n次命令时间
网络IO：O(1)
hash_tag实现
无底洞优化
保证缓存层高可用
对后端限流并降级
提前演练
雪崩优化
key为热点key，并发很大
重建缓存需要很长时间
允许一个线程重建缓存，其他线程等待该线程执行完在去获取缓存
互斥锁
没有设置过期时间
存在逻辑过期时间，使用单独的线程重建缓存
永远不过期
热点key重建优化
缓存设计
vm.overcommit_memory=1
获取：cat /proc/sys/vm/overcommit_memory
设置：echo \"vm.overcommit_memory=1\" >> /etc/sysctl.confsysctl vm.overcommit_memory=1
设置合理maxmemory，保证机器有20%-30%闲置内存
集中化管理AOF重写和RDB的bgsave
vm.overcommit_memory=1，防止不能fork
内存分配控制
内存不足时，将一部分内页进行swap操作，已解燃眉之急
不同操作系统值不一样
值越低：表示操作系统更加倾向于使用物理内存
值越高：表示使用swap概率越高
设置：echo {bestvalue} > /proc/sys/vm/swappiness echo vm.swappiness={bestvalue} >> /etc/sysctl.conf
free -m
vmstat 1
cat /proc/{pid}/smaps
如何监控swap
swappiness
建议redis中关闭该配置
THP-Transparent Huge Pages
权值越高被杀掉的概率越高
降低该值，可以有效防止被杀掉
OOM killer
保证不同机器时间一致性的服务
NTP-Network Time Protocol
查看当前用户进程资源数
ulimit -a
ulimit
默认为511
查看：cat /proc/sys/net/core/somaxconn
设置：echo 511 > /proc/sys/net/core/somaxconn
TCP backlog
linux配置优化
缓存可以从数据库中再次获取
作为存储影响就比较大
缓存与存储
去掉flushall命令
调大AOF重写参数
借助AOF机制恢复
没有开启也没有执行save，bgsave命令，那么就没有数据被保存
开启了，可能数据有延迟
RDB恢复
优先选择AOF来恢复数据
从节点数据也被清除
1、防止AOF重写config set auto-aof-rewrite-percentage 1000config set auto-aof-rewrite-min-size 1000000000000
2、去掉文件中的flush相关命令
3、重启主节点服务
快速恢复数据
flushall/flushdb误操作
redis所在机器有外网ip
端口为6379并对外网开放
以root用户启动
没有设置密码
bind设置为0.0.0.0或者\"\"
被攻击redis特点
简单密码机制
密码必须足够复杂
从节点也需要配置密码
auth是明文传输，也需要注意
运维建议
redis密码机制
对危险的命令进行重命名
导致一些功能失败
AOF和RDB包含这些命令导致其他redis启动失败
rename-command
对危险命令一律使用
第一次启动就配置
一定要保持主从配置一致性
伪装危险命令
限制ip输入和输出
防火墙
redis和哪个网卡进行绑定
建议使用内网ip
redis与客户端在一台机器上，可以使用回环地址
不支持config set 建议第一次进行配置
建议
bind
定期备份数据
减少被发现的可能
不使用默认端口
使用非root启动
安全的redis
key对应的value占用内存空间非常大
内存空间不均匀
超时阻塞
网络拥塞
bigkey的危害
redis-cli --bigkeys
被动收集
主动检测（推荐）
如何发现
删除会阻塞redis
string：使用del不会阻塞
hscan获取部分数据
hdel删除每个属性
hash\\list\\set\\sorted set
如何删除
使用监控系统监控bigkey
设计的时候需要注意数据量
处理bigkey
对发现热点key对整体系统都比较重要
维护一份key的调用次数
不知道有多少key，存在内存泄漏风险
有侵入性
无法做到通用
Twemproxy、Codis可以用来做统计
不通用，不是所有架构都会有代理层
代理端
monitor命令来统计热点key
redis-faina
存在影响性能的风险
只能统计一个redis的热点key，对于集群需要做汇总
redis服务端
对所有redis端口的TCP数据包进行抓取完成热点key的统计
需要开发成本，开源：ELK的packetbeat插件
需要了解集群需要做汇总
无侵入性
机器
拆分复杂数据结构
迁移热点key
本地缓存加通知机制
解决方案
寻找热点key
开发运维的“陷阱”
部署成本
实例碎片化
监控、统计和管理不完善
运维、经济成本
现有问题
监控统计
一键开启
Failover
可伸缩性
方便的客户端
元数据管理
流程化
一键导入
迁移数据
CacheCloud基本功能
CacheCloud是什么
JDK7+
Maven3
MySQL5.5+
redis 2.8+
环境要求
快速部署
使用SSH协议与redis所在机器进行交互
创建SSH用户
创建CacheCloud相关目录
安装最新的release版本的redis
sh cachecloud-init.sh {ssh_name}
执行脚本
部署脚本
修改机器相关的系统配置
添加配置
机器信息收集
添加机器
机器部署
加入机器后可以利用自动化部署功能来部署redis应用
申请账户
创建应用
接入应用
总体流程
账户申请和审批
应用申请和审批
REST接口
Java客户端
客户端接入
全局信息
命令统计
统计报表
应用统计信息
运行状态
内存使用情况
对象数
连接数
命中率
碎片化
角色
实例列表
应用详情
用户管理
应用报警配置
命令调用总次数倒排序
命令曲线
每个节点近2天的慢查询
慢查询
redis所有机器的拓扑信息
应用拓扑
用户功能
应用上下线
Redis Sentinel运维
Redis Cluster运维
配置管理
垂直扩容和水平扩容
应用运维
管理员用户命令下拉菜单中导入应用链接
填写导入应用表单
接入已存在的redis
对每次开启的reids添加配置模板
redis配置模板
可以对AOF、RDB等文件进行数据迁移
redis-migrate-tool
迁移工具
应用申请和审批配置申请和审批扩容申请和审批用户注册和审批应用日报、异常统计redis实例心跳应用内存、连接数阈值机器性能阈值
报警功能
应用日报
异常统计报警
redis实例心跳
应用内存和客户端连接数
机器性能报警
监控报警
ssh用户名ssh密码ssh端口CacheCloud根目录
机器相关
admin用户名admin密码超级管理员组
登录
cpu报警阈值内存报警阈值负载报警阈值
机器报警
管理员邮件列表管理员手机列表邮件报警接口短信报警接口
管理员报警和接口
可用客户端版本警告客户端版本不可用客户端版本
客户端版本
用户登录状态保存方式cookie登录方式所需要的域名LDAP接口地址
登录相关
应用连接数报警阈值redis-migrate-tool安装路径文档地址Maven仓库地址appkey密码基准key
其他
系统配置管理
客户端的耗时、值范围、异常
客户端上报
运维功能
redis监控运维云平台CacheCloud
infoinfo allinfo section 如info memory
server：服务器信息clients：客户端信息memory：内存信息persistence：持久化信息stats：全局统计信息replication：复制信息cpu：CPU消耗信息commandstats：命令统计信息cluster：集群信息keyspace：数据库键统计信息
section可选值
info系统状态说明
daemonize 是否是守护进程port 端口号 loglevel 日志级别logfile 日志文件名databases 可用的数据库数unixsocket unix套接字unixsocketperm unix套接字权限pidfile redis运行的进程pid文件lua-time-limit lua脚本超时时间tcp-backlog tcp-backlogwatchdog-period 用户诊断redis的延迟问题activerahashing 指定是否激活重置哈希dir 工作目录
总体配置
maxmemory 最大可用内存maxmemory-policy 内存不够时，淘汰策略maxmemory-samples 检测LRU采样数
最大内存及策略
appendonly 是否开启AOF持久化模式appendfsync AOF同步磁盘频率appendfilename AOF文件名aof-load-truncated 加载AOF文件时是否忽略文件不完整的情况no-appendfsync-on-rewrite 设置为yes表示rewrite期间对新写操作不fsync，暂时存在缓冲区中，等rewrite完成后再写入auto-aof-rewrite-min-size 触发rewrite的AOF文件最小阈值（单位：兆）auto-aof-rewrite-percentage 触发rewrite的AOF文件的增长比例条件aof-rewrite-incremen-tal-fsync AOF重写过程中，是否采取增量文件同步策略
AOF相关配置
save RDB保存条件dbfilename RDB文件名rdbcompression RDB文件是否压缩rdbchecksum RDB文件是否使用校验和stop-writes-on-bgsave-error bgsave执行错误，是否停止redis接受写请求
RDB相关配置
slowlog-log-slower-than 慢查询被记录的阈值（单位微妙）slowlog-max-len 最多纪录慢查询的条数latency-monitor-threshold redis服务内存延迟监控
慢查询配置
hash-max-ziplist-entries hash数据结构优化参数hash-max-ziplist-value hash数据结构优化参数list-max-ziplist-entries list数据结构优化参数list-max-ziplist-value list数据结构优化参数set-max-intset-entries set数据结构优化参数zset-max-ziplist-entries zset数据结构优化参数zset-max-ziplist-value zset数据结构优化参数hll-sparse-max-bytes HyperLogLog数据结构优化参数
数据结构优化配置
slaveof 指定当前从节点复制哪个主节点repl-ping-slave-period 主节点定期向从节点发送ping命令的周期，用于判断从节点是否存活，单位秒repl-timeout 主从节点复制超时时间，单位秒repl-backlog-size 复制积压缓冲区大小repl-backlog-ttl 主节点在没有从节点的情况下多长时间后释放复制积压缓存区空间slave-priority 从节点的优先级min-slaves-to-write、min-slaves-max-lag 当主节点发现从节点数量小于min-slaves-to-write且延迟小于等于min-slaves-max-lag时，master停止写入操作slave-serve-stale-data 从节点与主节点连接中断时，如果为yes，从节点可以继续处理客户端的请求，否则拒绝所有请求，除了info、slaveof命令slave-read-only 从节点是否开启只读模式，集群架构下从节点默认读写都不可用，需要调用readonly命令开启只读模式repl-disable-tcp-nodelay 是否开启主从复制socket的NO_DELAY选项repl-diskless-sync 是否开启无盘复制repl-diskless-sync-delay 开启无盘复制后，需要延迟多少秒后进行创建RDB操作
复制相关配置
maxclients 最大客户端连接数client-output-buffer-limit 客户端输出缓冲区限制timeout 客户端闲置多少秒后关闭连接 ，单位秒tcp-keepalive 检测TCP连接活性的周期，单位秒
客户端相关配置
requirepass 密码bind 绑定ipmasterauth 从节点需要配置的主节点密码
安全相关配置
standalone配置说明和分析
sentinel monitor 定义监控的主节点名、ip、port、主观下线票数sentinel down-after-milliseconds sentinel判定节点不可达的毫秒数sentinel parallel-syncs 在执行故障转移时，最多有多少个从服务器同时对新的主服务器进行sentinel failover-timeout 故障转移超时时间sentinel auth-pass 主节点密码sentinel notifi-cation-script <script-path故障转移期间脚本通知sentinel client-reconfig-script <script-path 故障转移成功后脚本通知
sentinel配置说明和分析
cluster-node-timeout集群节点超时时间，单位毫秒cluster-migration-barrier主从节点切换需要从节点数最小个数cluster-slave-validity-factor从节点有效性判定因子，当从节点与主节点最后通信时间超过(cluster-node-timeout*slave-validity-factor)+repl-ping-slave-period时，对应从节点不具备故障转移资格cluster-require-full-coverage集群是否需要所有的slot都分配给在线节点，才能正常访问cluster-enabled是否开启集群模式cluster-config-file 集群配置文件名称
cluster配置说明和分析
redis配置统计字典
博客地址
更多文章：地址
redis开发与运维
0 条评论
回复 删除
下一页
