首页  思维导图  详情

Redis知识点.mm

2020-02-11 12:04:41   0  举报





AI智能生成

为你推荐

查看更多



Redis知识图谱

Redis

架构

源码

框架

数据库

作者其他创作

大纲/内容

1.特性及应用场景

特性

单线程

纯内存访问

支持数据持久化

非阻塞IO(epoll)

应用场景

缓存

队列

网站访问统计

分布式Session

应用排行榜

社交关系图

版本新特性

2.8

主从断线重连后采取部分复制(Psync)

Redis Sentinel Stable

3.0

Redis Cluster

3.2

GEO

4.0

提供模块系统方便第三方拓展

非阻塞del和flushall/flushdb功能

RDB和AOF混合持久化模式

Redis Cluster兼容NAT和Docker

5.0

新Redis模块API:Timers and Cluster API

RDB现在存储LFU和LRU信息

集群管理器从Ruby(redis-trib.rb)改成C重写

新sorted set命令:ZPOPMIN/MAX和阻塞变量

主动碎片整理

增强HyperLogLog实现

内存统计报告更直观

Jemalloc升级到5.1版

欢迎关注微信公众号：服务：omsoofw 和订阅：jobdata

2.数据结构及内部编码

基本数据类型

字符串(String)

整型(int)

String

存储的值

可以是字符串、整数或浮点，统称为元素

读写能力

对字符串操作，对整数类型加减

String类型操作

set

设置置顶key的值

set key value

get

获取指定key的值

get key

incr

将key中储存的数字值增一

incr key

decr key

将key中储存的数字值减一

incrby

key 所储存的值增加给定的减量值(decrement)

incrby key decrement

decrby

key 所储存的值减去给定的减量值(decrement)

decrby key decrement

append

如果 key 已经存在并且是一个字符串， APPEND 命令将 value 追加到 key 原来的值的末尾。

append key value

setnx

只有在 key 不存在时设置 key 的值

setnx key value

mget

获取所有(一个或多个)给定 key 的值。

mget key [key...]

mset

同时设置一个或多个 key-value 对

mget key value [key value ...]

getset

将给定 key 的值设为 value ，并返回 key 的旧值(old value)。

getset key value

setex

将值 value 关联到 key ，并将 key 的过期时间设为 seconds (以秒为单位)。

setex key seconds value

strlen

返回 key 所储存的字符串值的长度

strlen key

del

删除键

del key

命令(通用的命令)

GET

SET

DEL

embstr编码的简单动态字符串

简单动态字符串

列表(List)

List类型操作

push

lpush

将一个或多个值插入到列表头部

lpush key value1 [value2....]

rpush

将一个或多个值插入到列表尾部

rpush key value1 [value2....]

pop

lpop

移出并获取列表的第一个元素

lpop key

rpop

移出并获取列表的最后一个元素

rpop key

lrange

获取列表指定范围内的元素

lrange key start stop

llen

获取列表长度

llen key

lindex

通过索引获取列表中的元素

lindex key index

lrem

移除列表元素

lrem key count value

count > 0

从表头开始向表尾搜索，移除与 VALUE 相等的元素，数量为 COUNT

count < 0

从表尾开始向表头搜索，移除与 VALUE 相等的元素，数量为 COUNT 的绝对值

count = 0

移除表中所有与 VALUE 相等的值

lset key index value

通过索引设置列表元素的值

命令

LPUSH

LPUSH list-key 111

RPUSH

RPUSH list-key 222

LPOP

LPOP list-key 111

RPOP

RPOP list-key 222

LINDEX

LINDEX list-key 0

LRANGE

LRANGE list-key 0 -1

List

一个有序序列集合且每个节点都包好了一个元素

序列两端推入、或弹出元素、修剪、查改或移除元素

链表(Linkedlist)

快速列表(Quicklist)

哈希(Hash)

哈希表(Hashtable)

压缩表(Ziplist)

Hash

有key-valued的散列组，其中key是字符串，value是元素

按照key进行增加删除

HSET

在散列里面关联起给定的键值对

HGET

获取指定散列键的值

HGETALL

获取散列包含的所有键值对

HDEL

如果给定键存在于散列里面，那么移除这个键

Hash类型操作

hset

将哈希表 key 中的字段 field 的值设为 value

srem key field value

hmset

同时将多个 field-value (域-值)对设置到哈希表 key 中

hmset key field1 value1 [field2 value2]

hsetnx

只有在字段 field 不存在时，设置哈希表字段的值

hsetnx key field value

hget

获取存储在哈希表中指定字段的值

hget key field

hmget

获取所有给定字段的值

hget key field1 [field2]

hgetall

获取在哈希表中指定 key 的所有字段和值

hgetall key

hvals

获取哈希表中所有值

hvals key

hlen

获取哈希表中字段的数量

hlen key

hkeys

获取所有哈希表中的字段

hkeys key

hdel

删除一个或多个哈希表字段

hdel key field1 [field2]

hexitst

查看哈希表 key 中，指定的字段是否存在

hexitst key field

集合(Set)

整型集合(intset)

Set

无序的方式，各不相同的元素

从集合中插入或删除元素

Set类型操作

sadd

向集合添加一个或多个成员（存在则返回0）

sdd key member1 [member2]

scard

获取集合的成员数

scard key

sinter

返回给定所有集合的交集

sinter key1 [key2]

sismember

判断 member 元素是否是集合 key 的成员

sismember key member

smembers

返回集合中的所有成员

smembers key

srandmember

返回集合中一个或多个随机数

srandmember key [count]

srem

移除集合中一个或多个成员

srem key member1 [member2]

SET（集合）

包含字符串的无序收集器（ unordered collection），并且被包含的每个字符串都是独一无二、各不相同的

SADD

将给定元素添加到集合

SMEMBERS

返回集合包含的所有元素

SISMEMBER

检查给定元素是否存在于集合中

有序集合(Zset)

Sort Set

存储能力

带分数的score-value有序集合，其中score为浮点，value为元素

集合插入，按照分数范围查找

ZADD

将一个带有给定分值的成员添加到有序集合里面

ZRANGE

根据元素在有序排列中所处的位置，从有序集合里面获取多个元素

ZRANGEBYSCORE

获取有序集合在给定分值范围内的所有元素

ZRANGE 0 -1 WITHSCORES

ZREM

如果给定成员存在于有序集合，那么移除这个成员

跳跃表(Skiplist)

其他数据类型

Bitmap

Hyperloglog

3.持久化

RDB

内存快照

AOF

日志文件追加记录

4.复制

原理

同步RDB文件

复制缓冲区

类型

全量复制(Sync)

拓扑

星型

主 - 从(单节点)

主 - 从(多节点)

树型

主 - 从(主) - 从

5.高可用

Redis Sentinel

Redis Cluster(集群自带高可用)

Keepalived

6.分布式

方案

集群

中间件分片

TwemProxy

CodisProxy

客户端分片

业务程序

一致性哈希算法

Codis

虚拟槽分区(1024个槽)

Gossip协议 -- 集群数据节点内部相互通信

Raft算法 -- 集群内选主

虚拟槽分区(16384个槽)

7.阻塞

持久化阻塞

Fork子进程

RDB持久化

AOF文件重写

命令阻塞

keys *

8.内存

内存消耗

对象内存

存储着所有数据

缓冲内存

客户端缓冲

通过参数client-output-buffer-limit控制

复制积压缓冲区

根据repl-backlog-size参数控制

AOF缓冲区

用于在Redis重写AOF文件期间保存最近的写入命令

内存碎片

可采用数据对齐和安全重启等方式规避内存碎片的问题

内存回收策略

惰性删除

定时任务删除

内存优化

缩减键值对象的长度

共享对象池

字符串优化

编码优化(使用ziplist编码能节约内存但会提高耗时-空间换时间)

控制键的数量(如使用hash结构重构字符串结构)

9.客户端

Jedis(Java)

Redis-py(Python)

Redigo(GO)

10.辅助功能

慢查询(slowquery)

管道(pipeline)

11.缓存问题隐患

缓存无底洞

缓存穿透

缓存雪崩

热点key倾斜

热点key重建

12.性能调优

vm.overcommit_memory=1

vm.swapiness=1

关闭THP特性

echo never > /sys/kernel/mm/transparent_hugepage/enabled

调大ulimit

调大TCP Backlog

Redis参数调优

appendfsync

no-appendfsync-on-rewrite

auto-aof-rewrite-percentage

auto-aof-rewrite-min-size

hash-max-ziplist-entries

hash-max-ziplist-value

list-max-ziplist-size

set-max-intset-entries

zset-max-ziplist-entries

zset-max-ziplist-value

hll-sparse-max-bytes

client-output-buffer-limit

13.监控

info

redis-stat

redislive

redis-cli monitor

redis-cli --latency

Codis Dashboard

Zabbix

Grafana

14.Redis与MC

MC、Redis的区别

Redis

1.Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。2.Redis支持数据的备份，即master-slave模式的数据备份。3.Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。4.一般用来做消息队列，存储耗时任务。

1.MC存储热点数据，经常访问的数据2.不可持久化数据，数据都是存在内存，重启后数据丢失3.只支持简单的key/value数据结构，不像Redis可以支持丰富的数据类型。

MC、Redis的瓶颈

服务器内存大小

加大服务器内存，使用高配服务器

做MC、Redis集群

1.MC实现集群：http://blog.csdn.net/zljjava/article/details/505108062.Redis分布式锁：http://blog.csdn.net/ugg/article/details/41894947

文件热更新

MC、Redis的可视化工具

Memcached管理与监控工具----MemAdmin

https://my.oschina.net/u/656519/blog/125234

Redis管理与监控工具-----Redis Desktop Manager

http://blog.csdn.net/joyhen/article/details/47358999

MC、Redis的使用场景

实时热数据存储

热数据储存【MC】

微信token获取次数有限，存储在MC中方便读取

频繁读取某个信息，存储在MC中方便读取

充值中心订单数据存储

一卡通微信信息存储

防刷单机制【MC】

充值中心使用MC来存储用户访问接口次数，来防刷单

存储session【MC】

充值中心使用MC来存储session

延时异步任务

守护进程【Redis】

充值中心游戏注入异步处理

充值中心日志入库异步处理

充值中心的补单机制异步处理

信息推送【MQ或Redis】

AUC系统的邮箱发送

短信系统发短信

站内信发送、豆豆发送

阻塞式队列【MQ】

一元夺宝【Redis】

通知开奖

购买时，回调异步

秒杀抢购

MC、Redis的需要注意的点

原子锁--保证操作的唯一性

add函数

setnx函数

sadd函数=>相当于MC的add函数

内存爆满

不被访问的被新的替换掉

key的储存时间要设定好

redis

启动swap机制，将内容存储在硬盘中，性能下降

注意事项：http://www.oschina.net/question/253614_108222

单个key内容大小

单个缓存项不能超过1M

在Redis中字符串类型的Value最多可以容纳的数据长度是512M

15.Redis应用

redis构建web网站

登录和cookie缓存

使用redis实现购物车

页面缓存

数据行缓存

网页分析

小结

使用redis构建支持程序

使用redis来记录日志