一文看懂分布式存储
2020-06-01 17:17:15 0 举报
一文看懂分布式存储
作者其他创作
大纲/内容
Client 1
全量数据在DB，Redis只存热点数据
磁盘
读取
全量数据的高效sql过滤
并行和穿行哪个快Redis为什么快：1. 单线程穿行 2. kv效率高
HBase
文件存储
Redis集群： 分片数据集群+哨兵集群 数据集群负责存储数据、哨兵集群负责强一致性对比：zk集群 主节点选举，过半通过，否认选出多个主产生脑裂节点可用的条件：过半的视野，视野中必须包含主节点过半选举的机制：版本高的为主，版本相同，id小的为主
DataPage4KB数据(全量字段)
内存很快
叶子节点
x
计算 c1
5.0版本C1、C2并发访问
LinkedList
write c1
DataPage4KB索引
分布式存储分布式计算
RowKey
思路
read c1
时间戳
(索引字段+ 源数据指针)
write c2
内存
分段
Client 2
io线程_01
io线程_02
worker线程
散列表
定位一条数据：
列族：列名
全量IO瓶颈
3
时间复杂度接近O(4)
计算 c2
B+索引
x.hashCode % 2
grepawk...java
线性表
普通节点
逐行判断是否是我查找的？
时间复杂度O(n)
HDFS
RegionServer
Mysql
HashMap
read c2
HMaster
1
全量
文件很多行文本100G
Redis
存储发展史
输出结果
0
value
是
6.0版本C1、C2并发访问
0 条评论
回复 删除
下一页
