

首页  思维导图  详情



开发流程及知识框架总结分享

2022-10-28 17:59:05   0  举报





AI智能生成

开发流程及知识框架总结分享

开发流程

开发知识

redis

模版推荐

作者其他创作

大纲/内容

高级功能&lt;br&gt;

发布订阅

定义

基于channel实现

使用

发布&lt;br&gt;

缺点

没有持久化，会丢消息&lt;br&gt;

事务

定义

解决多个命令的原子性问题

特点

按命令进入队列的顺序执行

不会受到其他客户端的请求的影响&lt;br&gt;

使用

开启事务：multi

执行事务：exec

取消事务：discard

监视：watch

问题

在执行exec前发生错误

在执行exec后发生错误

LUA脚本

定义

轻量级脚本语言，可以在Redis中执行

好处

一次发送多个命令，减少网络开销

Redis将整个脚本作为一个整体执行，保持原子性&lt;br&gt;

对于复杂的命令组合，可以放在文件中实现复用

使用

Redis中调用Lua脚本

Lua脚本中调用Redis命令

在Redis中调用Lua脚本文件

Lua脚本缓存

lua-time-limit 5000&lt;br&gt;

script kill&lt;br&gt;

场景&lt;br&gt;

ip限流

内存回收

回收触发

key过期

内存达到上限，触发内存淘汰

过期策略

惰性过期

定期过期

淘汰策略

LRU

volatile-lru&lt;br&gt;

allkeys-lru

问题&lt;br&gt;

LFU

volatile-lfu

allkeys-lfu

random

volatile-random

allkeys-random&lt;br&gt;

volatile-ttl

noeviction

持久化

RDB

自动触发

配置规则

shutdown

flushall

手动触发

save

bgsave

优势&lt;br&gt;

劣势

AOF

AOF 持久化策略

AOF重写机制

优势

劣势

分布式

主从复制&lt;br&gt;

过程

主从连接&lt;br&gt;

数据同步

命令传播

问题：单点故障

哨兵机制&lt;br&gt;

过程&lt;br&gt;

监控

通知

自动故障转移

问题

主从切换会丢失数据

无法水平扩容

分布式方案

客户端Sharding

Jedis

代理Proxy&lt;br&gt;

Twemproxy

Codis

服务端分片

分片策略

虚拟槽

一致性hash

RedisCluster

优势

不足&lt;br&gt;

开发应用

Java客户端

Jedis

Luttuce：SpringBoot2.0后默认客户端

Redisson：基于Redis提供了许多分布式方案&lt;br&gt;

数据一致性问题&lt;br&gt;

先更新数据库，再删除缓存

重试

异步更新

先删除缓存，再更新数据库

延时双删

高并发问题

热key发现

客户端统计

代理层统计

服务端统计

缓存雪崩

缓存不过期，主动更新

过期时间加随机数&lt;br&gt;

缓存定时预先更新

针对key失效后的落库加互斥锁或队列&lt;br&gt;

缓存穿透

缓存空数据或特殊字符串

布隆过滤器

SQL和NoSQL

SQL(泛指关系数据库)

特性&lt;br&gt;

Table形式、基于行存储&lt;br&gt;

固定的schema

表与表之间存在关联&lt;br&gt;

支持SQL操作和复杂关联查询

通过支持事务提供数据一致性

产品

Oracle\MySQL\SOLServer

劣势&lt;br&gt;

水平扩展需要复杂的技术

表结构修改困难&lt;br&gt;

基于磁盘的读写压力比较大

NoSQL(Not Only SQL)

特性

存储非结构化数据

表与表之间无关联，容易扩展&lt;br&gt;

保证数据的最终一致性

支持海量数据存储和高并发读写

支持分布式，对数据分片、扩缩容简单&lt;br&gt;

产品&lt;br&gt;

kv存储：Redis、MemcacheDB&lt;br&gt;

文档存储：MongoDB&lt;br&gt;

列存储：HBase&lt;br&gt;

图存储：Neo4j&lt;br&gt;

对象存储、XML存储等&lt;br&gt;

NewSQL

结合了SQL和NoSQL的特性

TIDB

Redis描述&lt;br&gt;

特性&lt;br&gt;

丰富的数据类型

支持单机和分布式

功能丰富

replication

LUA脚本

LRU驱动事件

事务

不同级别的磁盘持久化

支持多种编程语言

高可用、集群

安装启动&lt;br&gt;

安装

Linux

Windows

Docker

配置&lt;br&gt;

&lt;ul&gt;&lt;li&gt;redis.conf&lt;/li&gt;&lt;/ul&gt;

&lt;ul&gt;&lt;li&gt;启动时携带参数&lt;/li&gt;&lt;/ul&gt;

&lt;ul&gt;&lt;li&gt;config set动态设置&lt;/li&gt;&lt;/ul&gt;

命令参考&lt;br&gt;

数据类型

string

描述：&lt;i&gt;Binary-safe strings&lt;/i&gt;

存储类型：int\float\string&lt;br&gt;

使用场景&lt;br&gt;

缓存

数据共享&lt;br&gt;

分布式锁

全局ID&lt;br&gt;

计数器

限流

位统计

存储结构

外层哈希：hashtable存储模型&lt;br&gt;

SDS

为什么不用C语言字符串

SDS特点&lt;br&gt;

hash

描述：包含键值对的无序散列表

存储类型：value只能是字符串，不能嵌套其他类型

hash与string区别

使用场景

string能做的事情，hash都可以做&lt;br&gt;

存储对象类型的数据：电商购物车

不适合的场景&lt;br&gt;

存储结构

hash存储示例&lt;br&gt;

内层哈希

ziplist

hashtable

list

描述：双向有序、元素可重复

存储类型：存储有序的字符串

使用场景

充当队列和栈&lt;br&gt;

用户消息时间线

存储结构

早期版本

ziplist

linkedlist

3.2版本之后

quicklist

set&lt;br&gt;

描述：无序集合

存储类型：存储无序的字符串，最大存储量2^31-1（40亿）

使用场景

抽奖：随机获取元素

点赞、签到、打卡

收藏标签

商品筛选

交集&lt;br&gt;

并集

差集

用户关注、推荐模型

相互关注

我关注的人也关注了他

可能认识的人

存储结构&lt;br&gt;

intset

hashtable&lt;br&gt;

zset

描述：有序集合

存储类型：每个元素都有个score来实现排序

使用场景

排行榜&lt;br&gt;

热搜

存储结构

ziplist

skiplist+dict

其他

BitMaps

Hyperloglog

Geo

Streams

skiplist

维护

根据用户需求的变化和环境的变化，对应用程序进行全部或部分的修改

验收

用户验收

交付

向用户提交开发的目标安装程序

数据库的数据字典

用户安装手册

用户使用指南

需求报告

设计报告

测试报告

等双方合同约定的产物

测试

按照测试执行方

内部测试

外部测试

按照测试条件

正常操作情况测试

异常情况测试

按照测试的输入范围

全覆盖测试

抽样测试

按照测试范围

模块测试

整体测试

测试完成，验收并完成最后的一些帮助文档

日后还有升级，修补等工作

编码

根据《软件系统详细设计报告》中对数据结构、算法分析、和模块实现等方面的设计要求，开始编码

分别实现目标系统的功能、性能、接口、界面等方面的要求

磨刀不误砍柴功，设计过程完成的好，编码效率就会极大的提高

要小心编码时不同模块之间的进度协调和协作

相互沟通

应急的解决手段

详细设计

描述实现具体模块所涉及到的

主要算法

数据结构

类的层次结构

调用关系

说明软件系统每一个程序的设计考虑，以便进行编码和测试

保证软件的需求完全分配给整个软件

详细设计应当足够详细，能够根据详细设计报告进行编码

概要设计

考虑软件系统的设计，为详细设计提供基础

基本处理流程

系统的组织结构

模块划分

功能分配

接口设计

运行设计

数据结构设计

出错处理设计

需求分析

初步了解需求

列出大功能模块

每个大功能下的小功能模块

需求明确时可以初步定义好少量的界面

深入了解和分析需求

做一份文档系统的功能需求文档

清楚列出系统大致的大功能模块

小功能模块