9_Redis数据库
2020-03-17 16:24:59 387 举报AI智能生成
Redis 教程
作者其他创作
大纲/内容
redis.io
https://github.com/antirez/redis
作者 Salvatore Sanfilippo
官网
NoSQL 数据库的产生就是为了解决大规模数据集合和多重数据种类带来的挑战，尤其是大数据应用难题
解决了什么问题
概述
常见：Redis
键值(Key-Value)存储数据库
常见：Hbase
列存储数据库
常见：MongoDB
文档型数据库
常见：Neo4J
图形(Graph)数据库
NoSQL 分类
1. 数据模型比较简单
2. 需要灵活性更强的 IT 系统
3. 对数据库性能要求较高
4. 不需要高度的数据一致性
5. 对于给定 Key，比较容易映射复杂的环境
适用场景
NoSQL 介绍
关系型数据库需要对：表与表之间建立关联关系
关系型数据库
1. Redis 支持数据的持久化， 可以将数内存中的数据保存在磁盘中，重启的时候可以再次加载进行适用
3. Redis 支持数据的备份，集群等高可用功能
Redis 与其他 Key-Value 缓存产品对比：
读取速度 11w/秒
写的速度是 8.1w/秒
1. 速度快
String
List
Set
ZSet
Hash
2. 提供丰富的数据类型
Redis 所有操作都是原子性，意思就是要么执行成功要么执行失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过 MULTI 和 EXEC 指令包起来
3. 具备原子性
4. 丰富的特征
总结
Redis 特点
优点
缺点
小总结
Redis 简介
brew安装命令： brew install redis
Mac 安装
下载地址：http://download.redis.io/releases/redis-5.0.8.tar.gz
yum -y install gcc automake autoconf libtool make
注意：运行 yum 时出现 /var/run/yum.pid 已被锁定， PID 为 xxx 的另一个程序正在运行的问题解决
rm -rf /var/run/yum.pid
gcc 安装
1. wget http://download.redis.io/releases/redis-5.0.8.tar.gz
2. 解压：tar -zxvf redis-5.0.8.tar.gz
3. 编译：make 或 make MALLOC=libc
4. 安装：make PREFIX=/usr/local/redis install
redis 安装
Redis安装
1. 进入目录： cd /user/local/redis/bin
2. 启动服务： ./redis-server &
redis-cli -h IP 地址 -p 端口
退出客户端 control + C
3. 客户端访问：./redis-cli
4. PING 命令
启动命令
Linux(CentOS)
Redis 的配置文件 位于Redis 的安装目录下， 文件名为 redis.conf ( Windows 名为 redis.windows.conf)
说明
1. 在安装包的根目录下找到 redis.conf 文件
cp redis.conf /usr/local/redis
2. 复制配置文件安装目录
配置Redis
less -mN redis.conf
查看配置文件 命令
daemonize no
1. Redis 默认不是以守护进程的方式运行，可以通过该配置项修改，使用 yes 启用守护进程
pidfile/var/run/redis.pid
2. 当 Redis 以守护进程方式运行时， Redis 默认会把 pid 写入 /var/run/redis.pid 文件，可以通过pridfile 指定
port 6379
3. 指定 Redis 监听端口默认为 6379， 为什么选用6379 为默认端口，因为 6379 在手机按键上 MERZ 对应编码，而 MERZ 取子意大利歌女 Alessia Merz 的名字
bind 127.0.0.1
4. 绑定的主机地址
timeout 300
5. 当客户端闲置时间多长后关闭联机，如果指定为0，表示关闭该功能
loglevel verbose
logfiel stdout
7. 日志记录方式， 默认标准输出，如果配置 Redis 为守护进程方式运行，而这里有配置为日志记录方式为标准输出，则日志将会发送给 /dev/null
database 16
8.设置数据库的数量， 默认数据库为0， 可以使用 SELECT <dbid> 命令在链接指定数据库Id
save <seconds> <changes>
save 900 1
save 300 10
save 60 10000
Redis 提供了三个条件
9. 指定多长时间内，有多少个更新操作，就会将数据同步到数据文件，可以多个条件配合。
rdbcompression yes
dbfilename dump.rdb
11. 指定本地数据库文件名，默认为 dump.rdb
dir ./
12. 指定本地数据库存放目录
slaveof <masterip> <masterport>
13. 设置本地 slav 服务时， 设置master 服务的IP地址及端口，在 Redis 启动时，它会自动从 master 进行数据同步
masterauth <master-password>
14. 当 master 服务设置了密码保护时， slav 服务链接 master 的密码
requirepass foobared
15. 设置 Redis 链接密码，如果设置了链接密码，客户端在链接 Redis 时需要通过 AUTH <password> 命令提供密码，默认关闭
maxclients 128
maxmemory <bytes>
17. 指定Redis 最大内存限制，Redis 在启动的时候会把数据加载到内存中，达到最大内存后， Redis 会先清除已经到期或即将到期的 Key ， 在此处理方法之后，仍然到达最大的内存设置，将无法在进行写入操作，但仍然可以进行读取操作，Redis 新的 vm 机制， 会把 Key 放入内存， Value 会放入 swap 区
appendonly no
18. 指定是否在每次更新操作后进行日志记录，Redis 在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 Redis 本身同步数据文件时按上面 save 条件来进行同步的， 所以一段时间内只存在内存中默认为 no
appedfilename appendonly.aof
19. 指定更新日志文件名，默认为 appendonly.aof
no 表示等操作系统进行数据缓存同步到磁盘（快）
always 表示每次更新操作后手动调用 fsync() 将数据写到磁盘（慢，安全）
everyses: 表示每秒同步一次（折中，默认值）
appendfsync everysec
20. 指定更新日志条件，一共有3个可选值
vm-enabled no
vm-max-memory 0
vm-page-size 32
vm-pages 134217728
25. 设置 swap 文件的page 数量， 由于页表（一种表示页面空闲或使用 bitmap）是放在内存中的，在磁盘上每 8 个pages 将消耗1bytes 内存
vm-max-threads 4
26.设置访问 swap 文件的线程数， 最好不要超过机器的核数， 如果设置为0， 那么对swap 文件的操作都是串行的，可能会造成比较长的时间的延迟，默认值为：4
glueoutputbuf yes
27. 设置在向可兑换应答时，是否把较小的包含合并为一个发送，默认开启
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
28.指定在超过一定数量或者最大元素超过某临界值时，采用一种特殊的hash 算法
activerehashing yes
29. 指定激活重置哈希，默认开启（后面介绍 Redis 的哈希算法的时候具体介绍）
include /path/to/local.conf
30. 指定包含其他的配置文件，可以在同一个主机上多个 Redis 实例之间使用同一份配置文件， 而同时各个实例又拥有自己的特定配置文件
设定内存，建议不要超过1 G 256-512M
1. 为数据设置超时时间
设定超时时间的数据中，删除最不常用的数据
1. volatile-lru
查询所有的key 中最不常使用的数据进行删除，这是应用最广泛的策略
2. allkeys-lru
在已经设定了超时的数据中随机删除
3. volatile-random
查询所有的 key 之后随机删除
4. allkeys-random
查询全部设定超时时间的数据，追后马上排序，将马上将要过期的数据进行删除操作
5. volatile-ttl
如果设置为该属性，则不会进行删除操作，如果内存溢出则报错返回
6. noeviction (默认)
从所有配置了过期的时间的键中驱逐使用频率最少的键
7. volatile-lfu
从所有键中驱逐使用频率最少的键
8. allkeys-lfu
2. 采用 LRU算法动态不用的数据删除
两种解决方案
31. redis 作为优秀的中间件缓存，时长会存储大量的数据，即使采取了集群部署来动态拓容，也应该即时的整理内存，维持系统性能（如果数据一直新增，内存则很快会占满）
配置文件解读
1. 进入安装目录 cd /usr/local/redis
2. 编辑 redis.conf vim redis.conf
1. daemonize no 修改为 daemonize yes
2. 注释掉 bind 127.0.0.1
3. requirepass 设置密码
3. 设置默认必须修改的参数
1. ./bin/redis-server redis.conf
2. 查询进程： ps -ef | grep redis
命令模板： redis-cli -h host -p port -a password
redis-cli -h host -p 端口 -a 密码
3. 客户端登录：./bin/redis-cli -h 127.0.0.1 -p 16379 -a Iredis8Pwd
4. 启动 Redis 命令
自定义配置
配置文件详解 redis.conf
查询 PID ps -ef | grep redis
kil -9 PID
1. 断电、非正常关闭（容易丢失数据）
./bin/redis-cli shutdown
如果设置了密码需要先通过客户端登录，然后执行shutdown 命令即可关闭服务
2. 正常关闭，保存数据
Redis 的关闭
用命令管理 Redis 的键
该命令用于在 key 存在时删除 key
DEL key
序列化给定 key ，返回被序列化的值
DUMP key
检查给定的 key 是否存在
EXISTS key
为给定的 key 设置过期时间（以毫秒计算）
EXPIRE key seconds
设置 key 的过期时间以毫秒计
PEXPIRE key milliseconds
-1 代表永久有效
-2 代表无效的键
以秒为单位，返回给定 key 的剩余的过期时间。
TTL Key
以好面为单位返回 key 的剩余过期的时间
PTTL key
移除 key 的过期时间，key 将持久保持
PERSIST key
查找符合所有给定模式（pattern）的 key.
* 代表所有
？ 代表匹配一个字符
通配符
KEYS pattern
从当前数据库中随机返回一个key
RANDOMKEY (redis 5)
修改 key 的名称
RENAME key newkey
将当前数据的 key 移动到指定的数据 db 当中
MOVE key db
返回 key 所存储的值的类型
TYPE key
Redis 常用命令
1. 限时优惠活动
2. 网站数据缓存（对于一些需要定时更新的数据，例如：积分排榜榜）
3. 手机验证码
4. 限制网站访客频率（例如：1分钟最多访问 10次）
EXPIR key seconds
命令应用场景
0. 单个key 最大存入数据 为512M 大小
1. key 不要太长，尽量不要超过 1024 字节，这不仅消耗内存，而且会降低查找的效率；
2. key 也不要太短，太短的话，key 的可读性会降低；
3. 在一些项目中，key 最好使用统一的命名模式，例如 user:123:passwd
4. Key 的名称需要注意区分大小写
Key 的命名建议
Redis 的安装/配置
string 是 redis 的最基本的类型， 一个 key 对应一个 value
string 类型是二进制安全的， 意思是 redis 的 string 可以包含任何数据， 比如 jpg 图拼啊或者序列化的对象
string 类型是 redis 最基本的数据类型，一个键最大能存储 512MB
1. 编码、解码发生在客户端完成，执行效率高
2. 不需要平凡的编解码，不会出现乱码
特点
二进制安全是指，在传输数据时，在传输二进制的信息安全，也就是不被篡改、破译等，如果被攻击，能够即使检测出来
是什么 ？（简介）
Redis SET 民力用于设定 key 值。 如果 key 已经存储值，SET 就覆盖旧值， 且无视类型
SET KEY_NAME VALUE
只有 key 不存在设置 key 的值， setnx (SET is Not eXists) 命令在执行 key 不存在的时候，为 key 设置指定的值
具有原子性，可以解决分布式锁的问题
SETNX KEY VALUE
同时设置一个或者多个 key-value 对
MSET KEY VALUE[key vlue ...]
赋值语法
Redis GET 命令用于获取指定 key 的值，如果不存在，返回 nil ， 如果 key 存储的值不是一字符串类型，返回一个错误
GET KEY_NAME
用于获取存储在指定key 中字符串的子字符串。字符串的截取范围由 start 和 end 两个偏移量决定 （包括 start 和 end 在内的）
GETRANCE key start end
获取 key 所存储的字符串值， 获取指定偏移量上的位 bit
GETBIT key offset
获取所有 （一个或多个）指定的值
MCET key1 [key2 ..]
GETSET 命令用于执行 key 值， 并放回 key 的旧值，当 key 不存在时， 返回 nil
GETSET 语法： GETSET KEY_NAME VALUE
返回 key 所存储的字符串的长度
STRLEN key
取值语法
DEL KEY_NAME
删除语法
INCR 命令将 key 中存储的数值增 1 ， 如果 key 的值会掀背初始化为0 ，然后再执行 INCR 操作
INCR KEY_NAME
INCRBY 命令将 key 中存储的数字加上指定的增量值
自增：INCRBY KEY_NAME 增量值
DECR 命令将 key 存的数字减 1
自减：DECR KEY_VALUE 或 DECYBY KEY_VALUE 减值
APPEND 命令用于为指定的 key 追加至末尾，如果不存在为其赋值
字符串拼接： APPEND KEY_NAME VALUE
自增/自减
怎么用？（常用命令）
1. String 通常用于保存单个字符串或 JSON 字符串数据
2. 因 String 是二进制安全的，所以完全可以把一个图片的内容作为字符串来存储
3. 计数器（常规 key-value 缓存运用， 常规计数：微博数，粉丝数）
INCR 等指令本来就具有原子性特征，所以我们完全可以利用 redis 的 INCR ， INCRBY，DECR， DECRBY 等命令来实现原子计数的效果。假如，在某种场景下有 3 个客户同时读取了 mynum 的值（值为2），然后对其进行加1的操作， 那么， 最后mynum 的值一定是 5 。不少网站都用了redis 这个特征来实现业务上的统计需求
应用场景
String 类型
Redis hash 是一个 string 类型的 field 和 value 的映射表， hash 特别适合用于font color=\"#c41230\
简介
为指定KEY 设定 FIELD/VALUE
HSET KEY FIELD VALUE
举例： hmset users:1 id 1 uname zhangsan age 22
获取存储在 HASH 中的值，根据 FIELD 得到 VLAUE
HGET KEY VALUE
获取 KEY 所有给定字段的值
HMGET key field [field]
返回 HASH 表中所有的字段和值
HGETALL key
获取所有哈希表中的字段
HKEYS key
获取 hash 表中的字段数量
HLEN key
删除一个或者多个 HASH 表字段
HDEL KEY field1 [field2]
只有在字段 field 不存在时， 设置哈希表的字段值
HSETNX key field value
为哈希表 key 中的指定字段的浮点数值加上增量 increment
HINCRBY key field increment
为哈希表 key 中国呢的指定字段的浮点数值增加上增量 increment
HINCRBYFLOAT key field increment
查看哈希表 key 中，指定字段是否存在
HEXISTS key field
其他语法
常用命令
1. 适合存一个对象，比如存储用户信息，订单信息等
hash 是最捷径关系型数据结构的数据类型，可以将一个库一条记录或存续中一个对象转换为 hashmap 存放在 redis 中
第一种方式将用户ID作为查找 KEY 把其他信息封装成一个对象以序列化的方式存储，这种方式的缺点是，增加了序列化，反序列化的开销，并且在需要修改其中一项信息的时候，需要把整个对象取出来，并且修改操作需要对并发进行保护，引入CAS等复杂问题。
第二种方式将这个用户对象有多少个成员就存成多少个 key-value 对，用户ID + 对应属性的名称作为唯一标示来取得对应的属性值，虽然省取了序列化开销和并发问题，但是用户ID为重复存储， 如果存在大量这样的数据，内存浪费还是非常客观的。
2. 为什么不用 string 存储一个对象？
使用场景
Redis 提供的 HASH 很好的解决了这个问题， Redis 的 Hash 世纪是内部存储的 Value 为一个 HashMap ， 并且提供了直接存取这个Map 的成员接口
Redis 不会保留没有 Key 的 Hash
Hash 类型
POM
测试类
Jedis 基本使用
获取Jedis 的工具类
测试代码
JedisPool
Jedis 工具类
domain
Jedis 对 Hash 类型的操作
配置类
service
RedisTemplate 操作 string 使用案例
Spring-Data 整合 Redis
逻辑分析
用户在2分钟内，仅输入错误密码 5 次如果，超过次数，限制其登录1小时（要求每次登录失败，都要给出相应提示）
案例描述
单元测试
案例实现
string 案例限制登录功能
配置类文件
hash 类型案例
Java 操作 Redis
Redis 列表是简单的字符串列表，安扎插入顺序排序，你可以添加一个元素span style=\
类似 Java 语言中的 LinkedList 类型
将一个或多个值插入到列表头部（从左侧添加）
LPUSH key value1 [value2]
在列表中添加一个或多个值（从右侧添加）
RPUSH key value1 [value2]
将一个值插入到已经存在的头部列表。如果类标不存在，操作无效
LPUSHX key value
一个值插入已存在的列表尾部（最右边）。如果列表不存在，操作无效。
RPUSH key value
获取列表长度
LLEN key
通过索引获取列表中的元素
LINDEX key index
获取列表指定范围内的元素
LRANDGE key start stop
移除并获取列表的第一个元素（从左侧删除）
LPOP key
移除列表的最后一个元素， 返回值为异常的元素（从右侧删除）
RPOP key
移除并获取列表的第一个元素，如果列表没有是元素会足赛知道等待超时或发现可以弹出的元素为止。
BLPOP key1 [key2] timeout
移除并获取列表的最后一个元素， 如果列表没有元素会阻塞列表知道等待超时或发现可弹出元素为止。
BRPOP key1 [key2] timeout
LTRIM key start stop
通过索引设置列表元素的值
LSET key index value
在类标的元素钱或后插入元素
LINSERT key BEFORE | AFTER world value
修改语法
移除列表的最后一个元素， 并将该元素添加到另一个列表并返回
a1 的最后元素移到 a2 的左侧
RPOPLPUSH a1 a2
循环列表，将最后元素移动到最右侧
RPOPLPUSH a1 a1
RPOPLPUSH source destination
从列表中弹出一的元素插入到另外一个类标中并放回它；如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止
BRPOPLPUSH source destination timeout
高级语法
命令
项目常应用于：1. 对数据量大的集合数据删减 2、任务队列
列表数据显示、关注列表、粉丝列表、留言评价等。。分页、热点新闻（top5）等
利用LRANGE 还可以很方便的实现分页功能， 在博客系统中，每篇博文的评论也可以存入一个单独的list 中
接口方法
实现方法
List 运用案例
1 对数据量数集合数据删减
List 通常用来实现一个消息队列， 而且可以确保先后顺序，不必像 MySQL 那样还需要通过 ORDER BY 来进行排序
在处理 Web 客户端发送的命令请求时，某些操作的执行时间可能会比我们预期的更长一些通过将待执行任务的相关信息放入队列里面，并在之后对队列进行处理，用户可以通过推迟执行那些需要一段时间才能完成的操作，这种将工作交给任务处理器来执行的做法成为任务队列 （ task queue）
任务队列介绍（生产者和消费者模式）
移除列表的最后一个元素， 并将该元素添加到另一个列表中返回
订单系统的下单流程、用户系统登录注册短信等
订单系统的下单流程
常用案例
2. 任务队列
List 类型
Redis 的 Set 是 String 类型的无序集合， 集合成员是唯一的，这就以为这集合中不能出现重复的数据。
Redis 中集合通过哈希表来实现的， 所以添加，删除，查找的复杂度都是 O(1)
Redis 集合中最大的成员数量是 2^(32-1) （4294967295，每个集合可以存储 40 多亿个成员）
类似 Java 中的 HashTable 集合
Redis 结合对象 set 底层存储结构特别神奇， 底层采用了 intset 和 hashtable 两种数据结构存储的， instset 我们理解为数组， hashtable 就是普通的哈希表（key 为 set 的值， value 为 null）
inset 内部世纪是一个数组 (int8_t coentents[] 数组)，而且存储数据的时候是有序的，因为在查找数据的时候是通过二分查找来实现的。
向集合添加一个或多个成员
SADD key member1 [member2]
获取集合的成员数
SCARD key
返回集合汇总的所有成员
SMEMBERS key
判断 member 元素是否是集合 key 的成员（开发中：验证是否存在的判断）
SISMEMBER key member
返回集合中一个或多个随机数
SRANDMEMBER key [count]
移除集合中一个或多个成员
SREM key member1 [member2]
移除并返回集合中的一个随机元素
SPOP key [count]
将 member 元素从 source 集合移动到 destination 集合
SMOVE source destination member
返回给所有集合的差集（左侧）
SDIFF key1 [key2]
返回给定所有集合的差集并存储在 destination 中
SDIFFSTORE destination key1 [key2]
差集语法
返回给定所有结合的交集（共有数据）
SINTER key1 [key2]
返回给定所有集合的交集并存储在 destination 中
SINTERSTORE destination key1 [key2]
交集语法
返回所有给定集合的并集
SUNION key1 [key2]
返回给定结集合的并集存储在 destination 集合中
SUNIONSTORE destincation key1 [key2]
并集语法
常应用于：两个集合之间的数据 [计算] 进行交集、并集、差集运算
1. 非常方便的实现如共同关注、共同喜好、二度好友等功能。对上面的所有集合数据操作，你还可以使用不同的命令选择将结果返回给客户端还是存集到一个新的集合中。
2. 利用唯一性，可以统计访问网站的所有独立 IP
Set 类型
1. Redis 有序集合和集合一样也是 string 类型的集合，且不允许重复的成员。
2. 不同的是每个元素都会关联一个double 类型的分数。redis 正是通过分数来为集合中的成员进行从小到大的排序。
3. 有序集合的成员是唯一的，但分数（score）却是可以重复。
Redis 的 ZSet 是有序的、且不重复
向有序集合添加一个或多个成员，或更新已存在成员的分数
zadd key score1 member1 [score2 member2]
获取集合的成员个数
ZCARD key
计算在有序集合中指定成员的个数
ZCOUNT key min max
返回有序集合中指定的成员的索引
ZRANK key member
通过索引区间返回有序集合成指定区间内的成员 （低到高的排序）
ZRANGE key start stop [WITHSCORES]
返回有序集中指定区间内的成员，通过索引， 分数从高到低
ZREVRANGE key start stop [WITHSCORES]
移除 key
del key
移除集合中的一个或多个成员
ZREM key member [member .. ]
移除有序集合中给定的排名区间所有成员（第一名是0）（低到高的排序）
ZREMRANGEBYRANK key start stop
移除有序集合汇总给定分数区间的所有成员
ZREMRANGEBYSCORE key min max
常见运用： 排行榜
1. 比如 twitter 的 public timeline 可以发表时间作为 score 来存储， 这样获取的时候就是自动按照时间排序的结果集
ZSet （sorted set） 类型
Redis 数据类型和Java 操作 Redis
Redis 发布订阅 （pub/sub）是一种消息通讯模式：发送者（pub）发送消息，订阅者（sub）接收消息
Redis 客户端可以订阅任意数量的频道
示例
订阅给定的一个或多个凭悼的信息
SUBSCRIBE channel [channel ...]
订阅一个或多个富豪给定模式的频道
PSUBSCRIBE pattern [pattern ...]
订阅频道
将信息发布到指定的频道
PUBLISH channel message
发布频道
退订给定的频道
UNSUBSCRIBE [channel [chennel ... ]]
退订素有给定模式频道
PUNSUBSCRIBE [pattern [pattern ... ]]
退订频道
这个一个功能最明显的用法即使构建实时的消息系统，比如普通的即时聊天，群聊等功能
1. 在一个博客网站中，有100个粉丝订阅了你，当你发布新文章，就可以推送消息给粉丝们
2. 微信公众号模式
运用场景
发布订阅
Redis 下， 数据库是由一个证书索引标示， 而不是由一个数据库名称，默认情况下，一个客户端链接到数据库 0
数据库的切换
select 数据库
移动数据（当前key 移动到另外一个数据库中）
move key 名称 数据库
清除当前数据库的所有 key
flushdb
清理整个 Redis 的数据库所有 key
flushall
缓存预热
多数据库
批量操作在发送 exec 命令之前被放入队列缓存。收到 EXEC 命令 后进行入事务执行队列，事务中任意命令势必啊，其余的命令依然被执行。在事务执行过程，其他的客户端提交的命令不会插入到事务执行命令序列中。
1. Redis 会将一个事务中的所有命令序列化，然后按照顺序执行
2. 执行中不会被其他的命令插入，不允许加塞行为
Redis 时许可以一次执行多条命令（允许子啊一次单独的步骤中执行一组命令），并且带有一下两个重要的保证
开始事务
命令入队
事务执行
事务执行的三个阶段
取消事务
DICARD
执行所有事务块呢的命令
EXEC
标记一个事务块的开始
MULTI
取消 WATCH 命令对所有 key 的监视
UNWATCH
WATCH key [key ...]
A 账户向 B 账户转账 50 元（A - 50， B + 50）
1. Multi 命令开始，输入的命令都会一次进入命令队列中，但不会执行
2. 直到输入 Exec 后，Redis 会将之前队列中的命令依次执行
3. 完整命令
1. MULTI EXEC
1. 输入 multi 命令开始，输入的命令都会依次进入命令队列汇总，但不会执行
2. 直到输入 Exec 后，Redis 会将之前的命令队列中的命令依次执行
3. 命令队列的过程也可以通过 discard 来放弃队列的运行
命令示例
2. DISCARD 放弃队列
如果执行了某个命令报出了错误，则只有报错的命令不会被执行，而其他的命令都会执行，不会回滚
3. 事务的错误处理
事务队列中的某个命令报告错误，执行了整个所有队列都会被取消。
4. 事务的错误处理
WATCH key
需求：某一个账户在一个事务内进行操作，在提交事务之前，另一个进程对该账户进行操作
5. 事务的WATCH
Redis Unwatch 命令用于取消 WATCH 命令对所有 key 的监视。如果在执行 WATCH 命令之后， EXEC 命令或 DISCARD 命令先被执行的话，那就不需要再执行UNWATCH 了
6. UNWATCH
一组命令必须同时都执行，或者都不执行。我们想要保证一组命令在想执行过程中不被其他命令插入。
商品秒杀（活动）转账活动
Redis 事务
在Redis 中，允许用户设置最大的内存大小
maxmemory 512G
最大缓存配置
建议：了解Redis 的淘汰策略之后，在平时使用尽量主动设置/更新 key 的 expire 时间主动提出不活跃的旧数据， 有助于提升查询性能
redis 提供的 8 种数据淘汰策略
Rediscover数据淘汰策略 redis.conf
RDB相当于快照，保存的是一种状态几十G数据 -> 几KB的快照
快照是默认的持久化方式，这种方式是将内存中的数据以快照的方式写入到二进制的文件中，默认的文件名是 dump.rdb
是什么
快照保存数据极快、还原数据极快
适用于灾备
小内存的机器不适合使用
优缺点
1. 服务器正常关闭时
vim redis.conf (搜索 save)
2. key 满足一定条件会进行快照
快照的条件
RDB（默认机制）
appendonly yes
启用AOF 持久化发方式
appendfsync always
1. 收到写命令就立即写入磁盘，最慢，但是保证完全的持久化
2. 每秒钟写入磁盘一次，在能能和持久化方面做了很好的折中
appendfsync no
3. 完全依赖OS， 性能好，持久化没有保障
配置的三种方式（默认每秒 sync 一次）
AOF 的方式也同时带了了另外一个问题。持久化文件会越来越大。例如我们调用incr test 命令100次，文件必须保存全部命令，那么其中有99条命令都是多余的。
产生的问题
AOF
Redis 持久化
对要求强一致性比较高的，应采用实时同步方案，即查询缓存查询不到再从DB查询，保存到缓存更新缓存时，先更新数据库，再将缓存的设置过期（建议不要去更新缓存内容，直接设置缓存过期）
@Cacheable： 查询使用，注意Long 类型需要转换为String类型， 否者会抛异常@CachePut: 更新使用，使用此注解，一定会从 DB上查询数据@CacheEvict: 删除使用@Caching: 组合用法
如果数据修改了，缓存也要修改修改缓存数据或让缓存KEY失效
中国奥运会金牌数量？
查询数据库，并将 KEY 设置进入 （查询数据库的时候需要加锁）
如果存在，直接查询可以
热点数据（缓存穿透）
1. 实时同步
对于并发程度较高的，采用一步队列的方式同步，可采用 Kafka 等消息中间件来处理消息的生产和消费。
2. 异步同步
cannal 实现方式是模拟 mysql slave 和 master 的同步机智，监控DB bitlog 的日志来更新触发缓存的更新， 此中方法可以释放开发者的双手，但在使用时有一些局限性。
1. canal 模拟 mysql slave 的交互模式，伪装自己是 mysql slave ， 向mysql master 发送dump 协议
2. mysql master 收到 dump 请求，开始推送 binary log 给 salve (也是 canal)
3. canal 解析 binary log 对象（原始为 byte 流）
工作原理
3. 采用阿里的同步工具canal
面对 mysql 的 api 进行变成， 利用触发器进行缓存同步， 但是 UDF 主要是 C/C++语言实现学习成本较高
4.采用UDF自定义函数
解决方案
Redis 缓存与DB一致性
缓存传统指的是查询一一定不存在的数据，由于缓存不命中时需要从数据库中查询，查询不到数据则不写入缓存，则不写入缓存，浙江到这这个不存在的数据每次请求都要到数据库去查询，造成缓存穿透
是什么？
持久层查询不到就缓存空结果， 查询时先判断缓存是否 exists(key) ， 如果有直接放回空，么有则查询后返回。
如何处理？
1. 穿透
缓存大量失效的时候，引发大量查询数据库
1. 用锁/分布式锁或者队列串行访问
2. 缓存失效时间均匀分布
2. 雪崩
某个key 的访问频率非常频繁，当 key 失效的时候有大量线程来构建缓存，导致复杂增加，系统崩溃
1. 使用锁， 单机使用sychronized，lock 等，分布式系统采用分布式锁
2. 缓存过期时间不设置， 而是设置在 key 对应的 value 里。如果检测到存的时间超过过期时间则一步更新缓存。
3. 在 value 设置一个比过期时间 t0 小，过期时间 他 ， 当t1 过期时候，延长 t0 并做更新缓存操作。
4. 设置标签缓存，标签缓存设置过期时间，标签缓存过期后，需一步地更新实际缓存
3. 热点key
Redis 其他功能
一般来说要将 Redis 运用到工程中， 只是用一台 Redis 是万万不能，原因如下：
1. 从结构上， 单个 Redis 服务器会发生单点故障， 并且一台服务器需要处理所有的请求负载，压力较大。
2. 从容量上， 单个 Redis 服务其内存容量有限，就算一台 Redis 服务器内容容量 256G， 也不能将所有的内容用作 Redis 存储内存， 一般来说单台的最大使用内存不应该超过 20G
1. Redis 存在的问题 ?
“高可用” （High Availability）通常来面试一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。
1. 高可用
高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。
并发相关的指标有：相应时间（Response Time）、吞吐量（Troughput）、每秒查询率 QPS （Query Per Second），并发用户等。
响应时间
单位时间内处理的请求数量
吞吐量
每秒响应请求数，在互联网领域，这个指标和吞吐量区分的没有这么明显
每秒查询率 QPS
同时曾丹正航使用系统功能的用户数量。例如一个即时通讯系统，同时在线里那个一定程度代表了系统的并发用户数。
并发用户数
2. 高并发
例如：增加 CPU 核数如 32 核，升级更好的网卡如万兆， 升级更好的硬盘如 SSD，拓充硬盘容量如 2T， 拓充系统内存如 128G
1. 增强当即硬件性能。
例如： 使用 Cache 来减少 IO次数，使用异步来增加单服务吞吐量，使用无锁数据结构来减少响应时间。
2. 提升单机架构性能。
在互联网发展非常迅猛的早期， 如果预算不是问题，强烈建议使用 “增加单机硬件性能”的方式提升系统并发能力，因为这个阶段，公司的战略往往是发展业务抢时间，而“增强单机硬件性能”往往是最宽的方法。
总结：不管是提升单机硬件性能，还是提升单机架构性能，都有一个致命的不足，单机性能总是有极限的。所以互联网分布式架构高并发总计解决方案还是水平拓展。
1. 垂直拓展（Scal UP）
就是增加服务器的数量，就能线性的拓充系统性能。水平拓展对系统架构设计是有要求的，难点在于：如何架构各层进行水平拓展的设计
2. 水平拓展（Scale Out）
提高系统并发能力的方式，方法论上主要有两种：
3. 提升系统的并发能力
2. 高并发基本概述
应用场景： 电子商务往回走哪上面的商品，一般都是一次上传， 无数次浏览的，说专业一些就是 “多读少写”
一个 Redis 服务其可以有多个该服务的复制品， 这个服务器称为 Master， 其他的复制称为是 slaves
生么是主从复制？
结构图
1. 读写分离，不仅可以提高服务器的负载能力，并且可以根据读请求的规模自由增加或者减少从库的数量
2. 数据库复制成了好几份，就可算一台机器出现了故障，也可以使用其他的机器
实现原理
在 Redis 中，要实现主从复制架构非常简单，只需要在从数据库的配置文件中增加如下命令即可：
从服务器的端口
-- port 6380
指定主服务器
-- slaveof 127.0.0.1 6379
./bin/redis-server ./redis.conf --port 6380 --slaveof 127.0.0.1 6379
完整命令：./bin/redis-server ./redis.conf --port 6380 --slaveof 127.0.0.1 6379加上 slaveof 参数启动另一个 redis 实例作为从库，并且坚挺 6380 端口
1. 主数据库不需要任何陪孩子，创建一个从数据库
2. 登录到从服务器客户端
变回主： slaveof on one // 不是任何从
变回从：slaveof if 地址 端口号
具体配置
3. Redis 主从复制
为什么使用集群？
为了在大流量访问下提供稳定的业务，集群化是存储的必然形态
未来的发展趋势肯定是云计算和大数据的紧密结合
只有分布式架构才能满足需求
1. Twitter 开发的 twemproxy
2. 豌豆荚开发的 codis
3. redis 官方的 redis-cluster
总结：Redis 集群大家的方式有很多种， 但是从 redis 3.0 之后版本支持 redis-cluster 集群。至少需要 3（Master） + 3 （Slave）才能建立集群。 Redis-Cluster 采用无中心结构，每个绩点保存数据和整个集群状态，每个节点都和其他所有节点链接，其 redis-cluster 架构图如下所示。
redis-cluster 架构图
集群的方案
1. 所有的节点彼互联 PING - PONG 机制， 内部采用二进制协议优化传输速度和带宽
2. 节点的 fail 是通过集群中超过半数的节点检测失效时才失效
3. 客户端与 redis 直连，不需要中间 proxy 层， 客户端不需要连接集群所有节点， 连接集群中任何一个节点即可
4. redis-cluster 把所有的物理节点映射到 0-16383 slot 上（不一定时平均分配）cluster 负责维护
5. Redis 集群预分好 16384 个哈希槽， 当需要在 Redis 集群中放置一个 key-value 时，redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数， 这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽， redis 会更具节点数量大致均等的将哈希槽映射到不同的节点
集群的特点
容错性，是指软件检测应用运行的软件或硬件中发生错误并错误中回复能力，通常可能从系统的可靠性，可用性，可测性等几方面来衡量
1. 投票过程是集群中所有 master 参与 ，如果半数以上 master 节点与 master 节点通讯超时 （master -node -timeout）认为当前 master 节点挂掉
2. 什么时候整个集群不可用？（cluster_state:fail）
redis-cluster 投票：容错
redis-cluster 容错性
节点 A 覆盖 0- 5460
节点 B 覆盖 5461 - 10922
节点C 覆盖 10923 - 16383
新增节点 D redis-cluster 的这种做法是从各个节点前面各取一部分 slot 到 D上
节点 A 覆盖 1365 - 5460
节点 B 覆盖 6827 - 10922
节点 C 覆盖 12288 - 16383
节点D 0 - 1364， 5461 - 6826，10923 - 12287
新增节点后
如果有新增节点
（官方推荐）三个绩点分别是 A，B，C三个阶段，他们可以是一台机器上的三个端口，也可以是 三台不同的服务器。那么采用哈希槽（hash slot）的方式来分配 16384 个 slot 的化，他们三个节点分别承担的 slot 区间是 ：
redis-cluster 节点分配
集群中至少应该有奇数个绩点，所以搭建集群最少需要3台主机。同时每个节点至少有一个备份节点，所以下面最少需要创建使用 6 台机器，才能完成 Redis-Cluster 集群（主节点、备份节点由 redis-cluster 集群确定）
mkdir -p /usr/local/redis_cluster
1. 创建集群的安装目录
mkdir 7001 7002 7003 7004 7005 7006
2. 在redis_cluster 目录下，创建 7001- 7006 个文件夹
3. 并将 redis-cluster 分别拷贝到 7001-7006 文件夹下
1) 没有绑定IP
2） 没有设置访问密码
如果外部无法访问：redis.conf 中设置保护模式为 protected-mode no
由于 Linux 上的 redis 处于安全保护模式， 这就让你无法从虚拟机外部去轻松建立链接。
绑定服务器的 IP
bind 0.0.0.0
绑定端口号
port 7001
修改pid 进程文件名，以端口号命名
pidfile /var/run/redis-7001.pid
修改日志文件名，用端口号来区分
logfile /root/application/program/redis-cluster/7001/redis.log
修改数据文件存放的地址，以端口号为目录来区分
dir /root/appliaction/program/reid-cluster/7001/
启用集群
cluster-enabled yes
配置每个绩点的配置文件，同样端口号为文件名
cluster-config-file nodes-7001.conf
配置集群节点的超时时间，可以不改变
cluster-node-timeout 15000
启用AOF来增强持久化策略
appendonly yes
发生改变就持久化策略
appednfsync always
后台与性能
deamonize yes
修改的配置
将 redis-x.x.x/ 下的 src 为难拷贝到各个 redis 7001 - 7006 目录下
cd redis-x.x.x/
cp -r ./src /usr/local/redis_cluster/7001 (拷贝到 7001 - 7006)
启动各个节点：
cd /usr/local/redis_cluster
./7001/src/redis-server ./7001/redis.conf 依次启动 7001-7006
5. 启动各个 Redis 节点
集群搭建流程
cd redis-x.x.x
cd src
cp redis-trib.rb /usr/local/bin/
Redis 官方提供了一个 redis-trib.rb 这个工具，就在解压目录的 src 目录中（为了方便操作）将其复制到 /usr/local/bin 目录下， 可以直接访问此命令
redis-trib.rb create --replicas 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006
直接在命令中执行： ip:port 格式
yum -y install ruby ruby-devel rubygems rpm-build
gem install redis
安装 ruby
gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3
\\curl -sSL https://get.rvm.io | bash -s stable
source /usr/local/rvm/scripts/rvm
rvm list known
find / -name rvm -print
安装 rvm
rvm install 2.4.4
rvm use 2.4.4
rvm use 2.4.4 --default
ruby --version
升级 ruby
/usr/bin/env: ‘ruby’: No such file or directory需要安装 ruby
如果出现这个错误
创建集群(4.x 安装过于复杂)
./redis-cli --cluster create 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006 --cluster-replicas 1 -a Iredis8Pwd
注：redis5版本可以直接使用redis-cli命令配置集群(内部集成ruby)--cluster-replicas 1：表示主从比例1:1 (一台主机对应有一台从机)--cluster-replicas 2：表示主从比例1:2 (一台主机对应有两台从机)-a root123456：配置集群时所需的认证密码 (-a：auth简写，root123456：redis服务器认证密码）
[OK] All nodes agree about slots configuration.>>> Check for open slots...>>> Check slots coverage...[OK] All 16384 slots covered.
成功提示
创建集群(推荐)
redis-cluster 集群搭建
cp redis-cli /usr/local/bin/
1. 复制 redis-cli 客户端到 /usr/local/bin 下
加参数 -C 可连接到集群。因为上面redis 将bind 修改为了 0.0.0.0 ，所以 -h 也是可以省略的
redis-cli -h 127.0.0.1 -c -p 7001
查询节点
cluster nodes
2. 访问集群
3. 测试截图
redis-cluster 测试
4 .Redis Cluster 集群
缓存穿透个是指查询一个一定不存在的数据，由于缓存是不命中时需要从数据库查询，查不到数据则不写入缓存，这将导致这个不存在的数据每次都需要到数据库中去查询，造成缓存穿透
介绍
1. 数据自增ID从0 开始， 如果查询 id = -1 的数据
2. 高并发 10000 人访问
3. 由于缓存中没有数据，所以每次都会去查询数据库。
4. 如果数据库中查询出来为 null 可以缓存一个 \"\" 空字符串
例子
缓存穿透
如果缓存集中在一个时间段内失效，发生大量的缓存穿透，所有的查询都落到了数据库上，造成缓存雪崩。
这个没有完美的解决办法，但是可以分析用户的行为，尽量让失效时间均匀分布。大多数系统设计者考虑用加锁或队列的方式来把整缓存的单线程（进程）写，从而避免失效时大量的并发请求落到底层的存储系统上
计数
1. 加锁排队，限流算法。
2. 滑动窗口
3. 令牌桶 Token Bucket
4. 漏桶 leaky bucket
在缓存失效的时候，通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程查询和写缓存，其他线程等待
缓存雪崩
5. 高并发常见问题？
Redis 高并发/高可用
1. JedisNoReachableClusterNodeException：No reachable node in cluster
截图
2. 错误截图
1. 无可用连接，可能是存在较多的连接占用，新请求无法获取连接
3. 问题分析
增大连接数解决
4. 解决方案
No reachable node in cluster
Jedis 错误
概述： 获取锁的客户端在持有锁时可能会暂停一段较长的时间，尽管锁有一个超时时间，避免了崩溃的客户端可能永远持有锁并且永远不会释放它，但是如果客户端的暂停持续的时间长于锁的到期时间，并且客户没有意识到它已经到期，那么它可能会继续进行一些不安全的更改，换言之由于客户端阻塞导致的持有的锁到期而不自知。
问题流程图
1. 在没有 fencing栅栏机制的前提下不安全
子主题
RedLock
Redis 分布式锁
Redis数据库
0 条评论
回复 删除
下一页
