Redis知识点.mm 思维导图模板_ProcessOn思维导图、流程图

1.特性及应用场景

特性

单线程

纯内存访问

支持数据持久化

非阻塞IO(epoll)

应用场景

缓存

队列

网站访问统计

分布式Session

应用排行榜

社交关系图

版本新特性

2.8

主从断线重连后采取部分复制(Psync)

Redis Sentinel Stable

3.0

Redis Cluster

3.2

GEO

4.0

提供模块系统方便第三方拓展

非阻塞del和flushall/flushdb功能

RDB和AOF混合持久化模式

Redis Cluster兼容NAT和Docker

5.0

新数据类型Stream(借鉴了Kafka的设计,消息可持久化)

新Redis模块API:Timers and Cluster API

RDB现在存储LFU和LRU信息

集群管理器从Ruby(redis-trib.rb)改成C重写

新sorted set命令:ZPOPMIN/MAX和阻塞变量

主动碎片整理

增强HyperLogLog实现

内存统计报告更直观

Jemalloc升级到5.1版

欢迎关注微信公众号：服务：omsoofw 和订阅：jobdata

2.数据结构及内部编码

基本数据类型

字符串(String)

整型(int)

String

存储的值

可以是字符串、整数或浮点，统称为元素

读写能力

对字符串操作，对整数类型加减

String类型操作

set

设置置顶key的值

set key value

get

获取指定key的值

get key

incr

将key中储存的数字值增一

incr key

decr key

将key中储存的数字值减一

decr key

incrby

key 所储存的值增加给定的减量值(decrement)

incrby key decrement

decrby

key 所储存的值减去给定的减量值(decrement)

decrby key decrement

append

如果 key 已经存在并且是一个字符串， APPEND 命令将 value 追加到 key 原来的值的末尾。

append key value

setnx

只有在 key 不存在时设置 key 的值

setnx key value

mget

获取所有(一个或多个)给定 key 的值。

mget key [key...]

mset

同时设置一个或多个 key-value 对

mget key value [key value ...]

getset

将给定 key 的值设为 value ，并返回 key 的旧值(old value)。

getset key value

setex

将值 value 关联到 key ，并将 key 的过期时间设为 seconds (以秒为单位)。

setex key seconds value

strlen

返回 key 所储存的字符串值的长度

strlen key

del

删除键

del key

命令(通用的命令)

GET

SET

DEL

embstr编码的简单动态字符串

简单动态字符串

列表(List)

List类型操作

push

lpush

将一个或多个值插入到列表头部

lpush key value1 [value2....]

rpush

将一个或多个值插入到列表尾部

rpush key value1 [value2....]

pop

lpop

移出并获取列表的第一个元素

lpop key

rpop

移出并获取列表的最后一个元素

rpop key

lrange

获取列表指定范围内的元素

lrange key start stop

llen

获取列表长度

llen key

lindex

通过索引获取列表中的元素

lindex key index

lrem

移除列表元素

lrem key count value

count > 0

从表头开始向表尾搜索，移除与 VALUE 相等的元素，数量为 COUNT

count < 0

从表尾开始向表头搜索，移除与 VALUE 相等的元素，数量为 COUNT 的绝对值

count = 0

移除表中所有与 VALUE 相等的值

lset key index value

通过索引设置列表元素的值

lset key index value

命令

LPUSH

LPUSH list-key 111

RPUSH

RPUSH list-key 222

LPOP

LPOP list-key 111

RPOP

RPOP list-key 222

LINDEX

LINDEX list-key 0

LRANGE

LRANGE list-key 0 -1

List

存储的值

一个有序序列集合且每个节点都包好了一个元素

读写能力

序列两端推入、或弹出元素、修剪、查改或移除元素

链表(Linkedlist)

快速列表(Quicklist)

哈希(Hash)

哈希表(Hashtable)

压缩表(Ziplist)

Hash

存储的值

有key-valued的散列组，其中key是字符串，value是元素

读写能力

按照key进行增加删除

命令

HSET

在散列里面关联起给定的键值对

HSET

HGET

获取指定散列键的值

HGET

HGETALL

获取散列包含的所有键值对

HGETALL

HDEL

如果给定键存在于散列里面，那么移除这个键

HDEL

Hash类型操作

hset

将哈希表 key 中的字段 field 的值设为 value

srem key field value

hmset

同时将多个 field-value (域-值)对设置到哈希表 key 中

hmset key field1 value1 [field2 value2]

hsetnx

只有在字段 field 不存在时，设置哈希表字段的值

hsetnx key field value

hget

获取存储在哈希表中指定字段的值

hget key field

hmget

获取所有给定字段的值

hget key field1 [field2]

hgetall

获取在哈希表中指定 key 的所有字段和值

hgetall key

hvals

获取哈希表中所有值

hvals key

hlen

获取哈希表中字段的数量

hlen key

hkeys

获取所有哈希表中的字段

hkeys key

hdel

删除一个或多个哈希表字段

hdel key field1 [field2]

hexitst

查看哈希表 key 中，指定的字段是否存在

hexitst key field

集合(Set)

整型集合(intset)

哈希表(Hashtable)

Set

存储的值

无序的方式，各不相同的元素

读写能力

从集合中插入或删除元素

Set类型操作

sadd

向集合添加一个或多个成员（存在则返回0）

sdd key member1 [member2]

scard

获取集合的成员数

scard key

sinter

返回给定所有集合的交集

sinter key1 [key2]

sismember

判断 member 元素是否是集合 key 的成员

sismember key member

smembers

返回集合中的所有成员

smembers key

srandmember

返回集合中一个或多个随机数

srandmember key [count]

srem

移除集合中一个或多个成员

srem key member1 [member2]

SET（集合）

包含字符串的无序收集器（ unordered collection），并且被包含的每个字符串都是独一无二、各不相同的

命令

SADD

将给定元素添加到集合

SMEMBERS

返回集合包含的所有元素

SISMEMBER

检查给定元素是否存在于集合中

有序集合(Zset)

压缩表(Ziplist)

Sort Set

存储能力

带分数的score-value有序集合，其中score为浮点，value为元素

读写能力

集合插入，按照分数范围查找

命令

ZADD

将一个带有给定分值的成员添加到有序集合里面

ZADD

ZRANGE

根据元素在有序排列中所处的位置，从有序集合里面获取多个元素

ZRANGEBYSCORE

获取有序集合在给定分值范围内的所有元素

ZRANGE 0 -1 WITHSCORES

ZREM

如果给定成员存在于有序集合，那么移除这个成员

ZREM

跳跃表(Skiplist)

其他数据类型

Bitmap

Hyperloglog

GEO

3.持久化

RDB

内存快照

恢复速度快,持久化性能高.但是存在数据丢失风险

AOF

日志文件追加记录

实时持久化,数据安全性更高.持久化效率低

欢迎关注微信公众号：服务：omsoofw 和订阅：jobdata

4.复制

原理

同步RDB文件

复制缓冲区

类型

部分复制(Psync,2.8版本之后)

全量复制(Sync)

拓扑

星型

主 - 从(单节点)

主 - 从(多节点)

树型

主 - 从(主) - 从

欢迎关注微信公众号：服务：omsoofw 和订阅：jobdata

5.高可用

Redis Sentinel

Redis Cluster(集群自带高可用)

Keepalived

6.分布式

方案

集群

Redis Cluster

中间件分片

TwemProxy

CodisProxy

客户端分片

业务程序

原理

客户端分片

一致性哈希算法

Codis

虚拟槽分区(1024个槽)

集群内部数据节点独立运作,无需相互通信

Redis Cluster

Gossip协议 -- 集群数据节点内部相互通信

Raft算法 -- 集群内选主

虚拟槽分区(16384个槽)

7.阻塞

持久化阻塞

Fork子进程

RDB持久化

AOF文件重写

命令阻塞

keys *

smembers

lrange

hgetall

8.内存

内存消耗

对象内存

存储着所有数据

缓冲内存

客户端缓冲

通过参数client-output-buffer-limit控制

复制积压缓冲区

根据repl-backlog-size参数控制

AOF缓冲区

用于在Redis重写AOF文件期间保存最近的写入命令

内存碎片

可采用数据对齐和安全重启等方式规避内存碎片的问题

内存回收策略

惰性删除

定时任务删除

内存优化

缩减键值对象的长度

共享对象池

字符串优化

编码优化(使用ziplist编码能节约内存但会提高耗时-空间换时间)

控制键的数量(如使用hash结构重构字符串结构)

9.客户端

Jedis(Java)

Redis-py(Python)

Redigo(GO)

10.辅助功能

慢查询(slowquery)

管道(pipeline)

11.缓存问题隐患

缓存无底洞

缓存穿透

缓存雪崩

热点key倾斜

热点key重建

12.性能调优

vm.overcommit_memory=1

vm.swapiness=1

关闭THP特性

echo never > /sys/kernel/mm/transparent_hugepage/enabled

调大ulimit

调大TCP Backlog

Redis参数调优

appendfsync

no-appendfsync-on-rewrite

auto-aof-rewrite-percentage

auto-aof-rewrite-min-size

hash-max-ziplist-entries

hash-max-ziplist-value

list-max-ziplist-size

set-max-intset-entries

zset-max-ziplist-entries

zset-max-ziplist-value

hll-sparse-max-bytes

client-output-buffer-limit

13.监控

info

redis-stat

redislive

redis-cli monitor

redis-cli --latency

Codis Dashboard

Zabbix

Grafana

14.Redis与MC

MC、Redis的区别

Redis

1.Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。2.Redis支持数据的备份，即master-slave模式的数据备份。3.Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。4.一般用来做消息队列，存储耗时任务。

MC

1.MC存储热点数据，经常访问的数据2.不可持久化数据，数据都是存在内存，重启后数据丢失3.只支持简单的key/value数据结构，不像Redis可以支持丰富的数据类型。

MC、Redis的瓶颈

服务器内存大小

加大服务器内存，使用高配服务器

做MC、Redis集群

1.MC实现集群：http://blog.csdn.net/zljjava/article/details/505108062.Redis分布式锁：http://blog.csdn.net/ugg/article/details/41894947

文件热更新

MC、Redis的可视化工具

Memcached管理与监控工具----MemAdmin

https://my.oschina.net/u/656519/blog/125234

Redis管理与监控工具-----Redis Desktop Manager