HDFS体系结构
2017-02-26 11:38:57 0 举报
HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,它是一个高度容错性的系统,设计用于在低成本硬件上部署在大规模节点上。HDFS体系结构包括一个主节点(NameNode)和多个数据节点(DataNode)。主节点负责管理文件系统的命名空间以及客户端对文件的访问,而数据节点则负责存储和管理数据块。HDFS采用分块存储策略,将大文件切分为多个数据块,每个数据块默认大小为64MB或128MB。这种分布式存储方式使得HDFS能够在大量节点上实现高吞吐量的数据访问,同时具有很好的故障恢复能力。
作者其他创作
大纲/内容
DataNodeProtocol:数据节点与名字节点之间
执行依赖插件
Parser_n
ClientDataProtocol与数据节点之间
执行组件
调用chitu-lib设置过滤字符串
kg_groups
chitu-lib初始化,解析配置filter.conf
开始
NameNodeProtocol:第二名字节点与名字节点之间
1
是否已经执行
发送名字节点指令(数据块复制,删除,恢复等)
结束
N
Parser_1
获取meta字段
返回过滤结果
Y
处理过滤字段
2m-1
Client
维护两种关系
2
mini-batch
hash
特征列表
true streaming
files_n
组件组是否执行完成
files_1
复用table恢复pe状态
read流式接口
bp
......
设置过滤字段列表
m
提供如下功能
接收数据节点的信息上报(如注册,心跳等)
Reader
将asp打平到xcubeLogs
管理数据块
兜率
producton
XcubeMessage
基于HTTP的流接口:NameNode与SecondaryNameNode之间
调用chitu-lib执行过滤
存储在table
客户端
filter
输入
调用chitu-lib过滤
pipe
返回结果
files_2
按照key_select.conf进行处理
n
window state
DataTransferProtocol:Client与DataNode
基于远程过程调用的接口
文件目录树,文件的数据块列表
返回管理命令
NameNode
执行结束
数据块和数据节点对应关系
in_queue_n
parse
获取过滤字段value
基于TCP或HTTP的流式接口
是否命中cache
是否需要执行
查全局cache
更新全局cache
特征抽取依赖字段
in_queue_1
服务器间
拼接成过滤字符串
从队列获取数据
初始化
DataNode
执行当前插件
基于远程过程调用
write流式接口
afs_files
处理插件
接受请求
继续处理完成production数据
设置过滤规则
out_queue
pe_groups
publisher
ClientProtocol与名字之间
发送心跳信息
接口
2m
InterDataNodeProtocol:数据节点之间
为客户端对目录树的操作,对文件的读写,以及HDFS的系统管理,提供支持
0 条评论
下一页