数据分区与复制
2023-05-05 10:12:03 0 举报AI智能生成
学习笔记
作者其他创作
大纲/内容
数据分区
键值数据的分区
基于关键字区间
基于关键字哈希值
一致性哈希
组合索引
数据倾斜与热点
分区与二级索引
基于文档（本地）
基于词条（全局）
分区再平衡
动态再平衡策略
避免取模
固定数量
动态分区
按节点比例
自动与手动再平衡
请求路由
分布式协调
并行查询执行
分区架构
PGXC
Hash 分片
普通哈希
一致性哈希
Range 静态分片
Set
NewSQL
Range 动态分片
Group
无主节点复制
节点失效时写入数据库
读修复与反熵
读写 Quorum
Quorum 一致性的局限
监控旧值
sloppy quorum 与数据回传
多数据中心
检测并发写
最后写入者获胜（丢弃）
happens-before 关系和并发
确定前后关系
合并同时写入的值
版本矢量
多主节点复制
使用场景
多数据中心
离线客户端
协作编辑
处理写冲突
同步/异步检测
避免冲突
状态收敛
写时/读时冲突解决
自动解决冲突
无冲突数据类型
可合并的持久数据结构
操作转换
拓扑结构
环型
星型
全链接
存在问题
元数据存储
静态分片存储
哈希
多节点
无变更
无状态服务
心跳
PD 被动接收
持久化
去中心化
PSP 架构
Gossip 协议
单主节点复制
同步与异步
同步复制
异步复制
半同步复制
配置新从节点
处理节点失效
从节点失效：追赶式恢复
主节点失效：节点切换
处理步骤
确认主节点失效
选举新的主节点
使新主节点生效
存在问题
数据丢失
数据不一致
脑裂
超时
复制日志的实现
基于语句
基于预写日志
基于行逻辑日志
基于触发器
复制滞后问题
一致性模型
写后读
主节点处理
更新时间戳
多数据中心
单调读
前缀读
解决方案
应用层保障
事务
0 条评论
下一页
