《大数据日知录架构与算法》图解
2022-04-29 14:48:57 27 举报AI智能生成
登录查看完整内容
本文详解了大数据分布式架构和算法的理论
作者其他创作
大纲/内容
大容量Volume
多形式Variety
高速率Velocity
价值Value
大数据特点4V
数据源-采集
数据管理-存储管理
数据分析-数据挖掘、机器学习、统计分析、时空序列分析
数据获取-可视化
大数据处理流程
抽象模型：key-partition、partition-machine
优点：简单
缺点：不方便扩展
哈希取模法Round Robin:H(key) = hash(key) mod K
key-partition映射采用哈希函数
partition-machine映射采用表格管理
虚拟桶:对应数据分片
分布式哈希表（DHT），p2p网络
路由、加入新节点、离开新节点、虚拟结点
一致哈希方法
哈希分片
主键有序排列，按照LSM树进行管理
key-partition采用记录主键排序分割
partition-machine保持对应关系
范围分片
数据分片-水平扩展、复制、路由
数据定义、数据分片与路由
CAP：Consistency/Availability/Partition Tolerance.强一致性、可用性、分区容忍性
ACID：atomicity/consistency/isolation/durability.原子性、一致性、事务独立、持久性
BASE：Basically Available/Soft State/ Eventual Consistency.基本可用，软状态，最终一致性
数据库设计基本理念
一致性关系图
一致性模型分类
不使用一致性协议，存在数据不一致问题
通过一致性协议预先处理
同时更新
同步更新方式
异步更新方式
混合更新方式
主从式更新
任意节点更新
副本更新策略
阶段一：表决阶段
阶段二：提交阶段
一个协调者、多个参与者
两阶段提交协议
生成事件之间的偏序关系的算法，通过将时间戳和事件绑定判断事件之间的因果相关性
向量时钟
R：一次成功的读取至少有R份数据成功
W：一次成功的写入至少有W份数据成功
N：备份数据的份数
R+W>N:满足数据一致性
RWN协议
安全性
可用性
快速响应
副本状态机
单paxos：使得服务器的副本状态机对应某个固定位置的操作命令一致
多paxos：多个位置的操作命令一致。多个单paxos协议共同执行的结果
三个角色：倡议者、接收者、学习者
Paxos协议
可理解性
实现实际系统的确定性
方法一：将一致性协议划分成3个子问题：（分解法）领导者选举、Log复制、安全性
方法二：将Paxos的P2P模式改造成Master-Slave模式
Raft协议
一致性协议
数据复制与一致性
常被用来检测某个元素是否是巨量数据集合中的成员
首先：m位数组元素全部置0.其次，对集合中元素a经过k个哈希函数，最后，将w（小于等于k）个哈希结果位置置1
存在误判，但不存在漏判
误判率小于1%。三者与误判率之间的关系:
最优哈希函数个数k：
已知集合大小n，设定好误判率p；计算位数组m的公式：
集合大小n，位数组m，哈希函数个数k
优点：效率高。缺点：1、存在误判率。2、无法删除数据。
基本信息单元由多个bit代替一位bit来表示信息。只要基本信息单元不为0，则表示属于成员，删除成员只要将信息单元减1即可
计数布隆过滤器，关于无法删除数据的缺点改进。
布隆过滤器
有序链表，并给每个节点添加更多的向后指针
采用随机数，来确定节点向后指针的个数，也即层数。最高层级MaxLevel
SkipList
Log-structured Merge-tree，本质是将大量的随机写操作转换成批量的序列写
使用LSM的数据系统：BigTable、SILT、RAMCloud、Cassandra、LevelDB
内存中的Memtable、Immutable MemTable
磁盘:Current文件、manifest文件、.log文件、SSTable文件
一次写操作：包含一次磁盘顺序写和一次内存写入
MemTable采用SkipList数据结构
当应用写入一条Key：Value记录时，LevelDB会先往log文件里写入，成功后将记录插进MemTable
当MemTable数据到一个界限后，则将记录导出。形成新的log和MemTable，原先MemTable称为Immutable MemTable，导入磁盘形成-》SSTable
minor Compaction：按照Immutable MemTable的记录由小到大遍历写入level 0的SSTable文件中，并建立index数据
major Compaction：对多个文件采用多路归并排序，找出最小key记录，并判断key是否要保存，完成L层和L+1层的合并形成新的文件
Compaction操作类型：minor、major、full
SSTable由Compaction操作形成层级结构，主键有序排列
manifest记载了SSTable各个文件的管理信息，比如属于哪个level、文件名称、最小key和最大key
Current文件记载当前的manifest文件名
LevelDB静态结构
LSM树Log-structured Merge-tree
在海量数据中快速定位少量变化的数据内容
使用的系统举例：BitTorrent、Git、比特币、Dynamo、Riak、Cassandra等
Merkle哈希树示例
树的子节点是每个数据项或一批数据项对应的哈希值，中间节点保持对其所有子节点哈希值再次哈希的值，以此类推到根节点
根节点，Top Hash 保持的是所有数据的整体哈希值
可以在O(log(n))时间内定位变化的数据内容
Merkle哈希树
Snappy是Google开源的数据压缩和解压缩算法库。优点：速度快
静态词典事先构造词典
动态词典，编码器从被压缩文本中自动导出词典，解码器边解码边构造解码词典
词典编码分静态词典和动态词典
滑动窗口和前向缓冲区的概念
将前向缓冲区内的开始字符串与滑动窗口中的字符串进行最长匹配
LZ77是一种动态词典编码
LZSS对LZ77的改进：增加了最小匹配长度限制
将滑动窗口内字符串的各种长度片段存入哈希表，哈希表的值记载其在滑动窗口内的出现位置
最长匹配技巧
LZSS算法，LZ77的优化方案
设定最小匹配长度为4
压缩数据时将整个数据切割成32KB大小的数据块分别压缩
Snappy的设置
Snappy与LASS算法
解决哈希冲突（Hash Collision）问题。高效查找！
查找、删除：O(1)时间复杂度；插入数据：常数时间
对x同时计算两个哈希函数，如果对应值为空，插入并结束
如果对应值都不为空，则替换出旧值y。
对y进行上述步骤。
设置最大替换次数。当达到最大替换次数时，要么增加哈希空间，要么替换哈希函数
原理：使用不同的两个哈希函数H1(x)和H2(x)。
应用系统：SILT系统（small index large table）
Cuckoo 哈希
大数据常用的算法和数据结构
大数据基础理论
优点1：集群整体资源利用率高
优点2：可增加数据共享能力
优点3：支持多类型计算框架和多版本计算框架
独立的资源管理与调度系统
YARN、Mesos、Corona（Facebook）、Quincy（微软）
三要素：资源组织模型、调度策略、任务组织模型
资源组织模型将资源组成多层级队列的方式
调度策略：FIFO、公平调度、能力调度、延迟调度等
任务组织模型：平级多队列组织、层级队列的树形队列结构
资源管理的概念
通用调度器由资源收集器（管理资源池）和资源调度策略（管理工作队列）构成
通用架构
资源管理抽象模型
异质性是指组成元素构成的多元性和相互之间的差异性
资源的异质性：机器配置不一样
工作负债的异质性：应用不一样，批处理和高应用
资源异质性与工作负载异质性
设计原则：将计算任务推送到数据所在地进行
将计算任务分配到数据所在的机器节点
节点局部性（最优）
计算任务节点和数据所属节点在同一个机架
机架局部性（次之）
其他情况属于全局局部性
全局局部性（低效）
数据局部性
抢占式调度与非抢占式调度
作业级、任务级
群体分配策略、全分不分策略、资源储备策略
资源分配粒度
饿死现象：指计算任务持续长时间无法获得开始执行任务所需的最小资源量一直处于等待执行的状态
死锁问题：由于资源调度不当导致整个调度系统无法继续正常执行
饿死与锁死问题
资源隔离最常用手段是Linux容器（Linux Container ，LXC）
k8s，docker容器
资源隔离方法
调度系统设计的基本问题
整个系统只运行一个全局的中央调度器实例
单路径调度器，按照顺序调度任务、无并发性
多路径调度器，支持多种调度策略
实现逻辑复杂、可扩展性差、缺乏灵活性、并发性差。无法适应大规模集群系统
集中式调度器
分为中央调度器和框架调度器
中央调度器可以看到集群中所有机器的可用资源并管理状态，粗粒度地资源调度方式
各计算框架根据自身计算任务的特性进一步细粒度的分配从中央调度器获得的各种资源。典型：Mesos、YARN、Hadoop On Demand
两级调度器
Google的Omega调度系统。每个计算框架都可以看到整个集群中的资源，竞争获取资源
状态共享调度器
资源管理与调度系统范型
FIFO调度策略
多用户作业调度器，资源池。公平策略是最大最小公平算法（Max-Min）
公平调度器
能力调度器
延迟调度策略
主资源公平调度策略
资源调度策略
Mesos
构件：一个资源管理器RM、每个作业一个的应用服务器AM、每个机器一个的节点管理器NM
RM负责全局资源管理，包括调度器、AM服务器AMS、Client-RM接口以及RM-NM接口
调度器主要提供各种公平和能力策略调度，支持可插拔方式
Client-RM接口负责按照一定协议管理客户提交的作业
RM-NM接口主要和各种机器的NM通过心跳方式进行通信，获知信息
AMS负载系统内所有AM的最初启动与运行状态管理
YARN的RM支持“抢占式调度”
YARN
集群资源管理与调度
强调协调系统的可靠性与高可用性，而不追求处理读写的高吞吐量
理论基础是Paxos一致性协议
Chubby是一种“粗粒度”的锁服务
Chubby服务是由客户端链接的库程序和多个“Chubby单元”构成，一般一个数据中心部署一个“Chubby单元”
Chubby单元通常包含5个服务器，Paxos协议选举出一台作为“主控服务器”。主控服务器由“任期”，称之为“主控服务器租约”（Master Lease）
系统架构
Chubby类似于文件系统的目录和文件管理系统，在此基础上提供针对目录和文件的锁服务
要求对文件内容一次性全读或写，对资源的同步管理
数据模型
RPC调用
会话与KeepAlive机制
为减少客户端与服务器之间的通信量，允许客户端在本地缓存，由Chubby保证数据一致性
客户端缓存
Chubby锁服务
高吞吐的分布式协调系统，可处理上万客户端的并发请求
ZAB原子广播协议选举作为主控服务器，其他作为从属服务器。多票仲裁方式选取主控服务器
主控服务器将更新操作序列化（读可以是任意服务器，更新只能通过主控服务器）
重放日志（Replay log）：将更新操作先写入外存日志、再写入内存数据
模糊快照（Fuzzy Snapshot）：周期性对内存数据做快照，但不对内存加锁。因此可能存在做快照时发生变化，而无法体现即模糊
\"重放日志\"和\"模糊快照\"进行容错
体系结构
类似传统文件系统，树形的层级目录结构，节点是Znode
Znode节点分持久节点和临时节点
API：create、delete、setData、getData、exists、getChildren、sync
领导者选举，Leader Election
配置管理，Configuration Management
组成员管理，Group Membership
任务分配
锁管理
双向路障同步
子主题
应用场景
Zookeeper
分布式协调系统
Protocol Buffer 、Thrift
Avro
序列化与远程过程调用框架
Kafka
消息队列
Gossip协议
应用层多播通信
分布式通信
数据通道
大数据系统体系结构
Google文件系统GFS
NameNode、DataNode、Secondary NameNode、客户端
Secondary NameNode 提供检查点功能服务的服务器
1、第三方共享存储：保证任一时刻只有一个NN能够写入
2、DataNode，需要保证只有一个NN发出删除命令
3、客户端：需要保证同一时刻只能有一个NN对客户端请求发出正确响应
Cloudera提供了基于QJM（Quorum Journal Manager）的HA放啊
HA方案
将一个大的命名空间分割子空间，分别由单独的NN管理，互相独立。所有DATANode被多个NN共享，
与命名子空间通过数据块管理层作为中介建立映射关系
子命名空间-》多个数据块池
NameNode联盟
HDFS
对象存储系统
元数据的减少存储量：1、由多个图片数据拼接成一个数据文件。2、只保留元数据必须的属性数据
HayStack读：内存读取元数据-》磁盘读取图片数据
逻辑卷对应多个物理卷，数据冗余
HayStack目录服务-》CDN\\HayStack缓存系统\\HayStack存储系统
HayStack
行式存储
列族方式
Dremel的列存储方式
列式存储
RCFile、ORCFile、Parquet
混合存储
文件存储布局
缺点，数据恢复时大量传输造成网络阻塞
（n，m）RS编码表示n个数据块+m个冗余校验信息块，最多可允许m块数据损失
Reed-Solomon编码，RS编码
在RS编码基础上通过增加数据冗余来获取校验数据的局部性
LRC编码
RaidNode：对DRFS中的文件建立和维护对应的校验数据文件
BlockFixer：周期性扫描文件系统，从已经经过RS编码的文件中识别出损毁数据，并对其进行恢复
HDFS-RAID架构
纠删码，代替冗余备份、减少存储成本
分布式文件系统
大规模集群下的纯内存KV数据库
RAMCloud整体架构
LSM树方案存储数据
RAMCloud数据副本管理
数据副本管理
恢复机制一：待备份数据分散到多个备份服务器，恢复内存数据时每台仅需传递少量数据，增加并发性
恢复机制二：将待重建内存数据分散到堕胎服务器来恢复，减少每台服务器需要恢复的数据量，增加并发性
RAMCloud数据恢复机制
数据快速恢复
RAMCloud
内存里对数据进行备份
单机读写
Redis Cluster 集群版本
采用异步的主从复制方式
主从切换，选举策略
Redis
集群环境下的内存KV数据库
将所有数据的主键空间映射到4096个虚拟桶中，并在“虚拟桶映射表”中记载每个虚拟桶主副数据的机器地址。两阶段提交协议更新虚拟桶映射表
同步写
主服务器的虚拟桶出问题，备份服务器切换
内存存放副本数据成本太高。作者建议方案：副本存放LSM树结构存储的LevelDB数据库
Membase（CouchBase）
内存保留一份数据，数据备份放在磁盘或SSD中
内存KV数据库
三维映射表，最基础的存储单元由（行主键、列主键、时间）三维主键所定位
存储表格时，将表格按照行主键切割成一个个若干行数据的子表
BigTable的数据模型
主控服务器、子表服务器、客户端程序
整体结构
BitTable的整体结构
Chubby系统和元数据表共同维护系统管理数据
元数据表包含Root子表（其他子表的存放位置）和其他子表。
其他子表的每一行的“行主键”是由用户表表名和对应子表最后一行的行主键共同构成
客户端请求，通过chubby系统-》Root子表-》元数据表的其他子表。三级查询结构，获取存储数据具体位置
BigTable管理数据
管理工作：自动发现新的“子表服务器”、故障“子表服务器”、负载均衡
启动流程
“主控”和“子表”服务器通信，获取子表服务器存储了那些子表并记录在内存管理数据中
“主控”通过周期性地扫描Servers目录下文件获知“新子表服务器”的加入
“主控”周期性地询问“子表”状态
BigTable主控服务器
子表管理、子表恢复、子表分裂、子表合并、子表写、子表读
首先，CommitLog文件，之后MemTable。最后落地SSTable。LSM树结构
SSTable分为存储区和索引区。二分查找定位数据位置
更新子表数据
按照行主键顺序存储
布隆过滤器快速查找文件
读子表数据
子表合并：微合并、部分合并、主合并
元数据子表读取管理信息
CommitLog对应的恢复点
子表恢复
BigTable子表服务器
BigTable，HBase数据库
时间轴一致性保证数据一致性
雅虎消息代理更新备份记录
PNUTS存储系统
将大规模数据进行细粒度切割，切分成若干实体群组
在实体群组内提供满足ACID意义的强一致性服务
数据模型：Schema->Table->Property
MegaStore包含实体群组主表Root Table 和 Child Table
Paxos协议保证数据一致性
MegaStore
特点：数据中心级别的容灾能力、类SQL查询语言、完善的事务支持、半结构化数据模型定义
TrueTime机制为分布式事务打上具有全局比较意义的时间戳
TT.now()返回一个时间区间TTinterval
Spanner
列式数据库
大数据存储
大数据日知录架构与算法
收藏
0 条评论
回复 删除
下一页
