HDFS写数据步骤图
2020-04-07 12:08:40 2 举报
登录查看完整内容
客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本
作者其他创作
大纲/内容
13.传输完成后，向客户端报告
元数据
8、建立pipeline
数据包
datanode信息池
4、请求上传block1，包含副本等信息
2、nn检测目录
11、接收到数据包，将数据保存在data设置的目录
dn1
9、返回信息，pipeline建立完成
12、数据保存完成，返回报告
步骤6返回原则：a)首先就近选择一个dnb)优选另一个机架上的dnc)在本机架上随机再选择一个dn
hadoop fs -put upload.mp4 /aa
256
接收到数据包，将数据保存在data设置的目录
目录树
传输数据包
block1
dn2
dn3
NameNode
300
5、查询dd信息池
upload.mp4size:300M
block3
0
block2
HDFS客户端
指针
10、进行数据发送，(sockt连接)
NameNode1、响应客户端的请求2、维护hdfs的元数据
1、通知namenode，请求上传文件
HDFS写数据步骤图
128
0 条评论
回复 删除
下一页
