

首页  流程图  详情



HDFS

2023-03-28 14:59:14   9  举报





hdfs角色

工作总结

模版推荐

作者其他创作

大纲/内容

每3s和NN保持心跳，我还活着

fsimage_checkpoint

NameNode

拷贝

fsimage

edits_inprogress_xxx

HDFS启动时可能会有些DN启动失败，从而导致失败的节点无法访问，为了不给客户端提供无效节点，所以需要DN每6小时上报自己的节点信息，如果发现Block的副本数不满足集群环境会在3s一次的心跳返回让其他DN进行数据块的复制避免数据丢失影响系统

SecondaryNameNode

合并后产生的文件

DataNode

请求执行checkpoint

文件上传成功时

重命名

每6h节点信息上报，方便NN记录反馈给客户端

启动时将日志与镜像加载至文件

内存

收集Block信息

client

加载到内存并合并

1询问是否需要checkpoint文件是否需要合并，阈值1小时或者6M

保存文件的元数据信息，NN运行时元数据是放在内存中的，同时也会磁盘持久化是一份日志

写操作

接收和处理用户的操作请求，因为NN存放文件和Block文件的映射关系，所以客户端无法直接与DN交互，需要先再NN中拿到文件存储位置

edits_xxx

数据块的操作（复制块，删除块）当DN故障时，其他节点会去复制故障节点数据

edits_xxx01

集群启动时

收集DN的块与节点的信息

默认6小时上报

拷贝回

 Collect

Get Started

HDFS 写数据流程_读数据流程详细图解

 Collect

Get Started

HDFS

 Collect

Get Started

HDFS结构图

 Collect

Get Started

HDFS原理





0 条评论

下一页