MapReduce流程
2019-05-20 11:00:08 0 举报
登录查看完整内容
MapReduce流程
作者其他创作
大纲/内容
map进行逻辑处理形成新的key_value对
Reduce2
块
128MB
环形缓冲区默认100M
Reduce1
Map1
file256M
key-value
file001
NodeManager
资源申请Map任务数计算Reduce任务数
file.txt
Reduce任务2
part001
reduce
Map3
进行分区，排序
数据写入环形缓冲区
Map/Reduce任务运行与状态监控
Map2
cache写入缓存
分区2
缓存达到80%溢出写入本地磁盘
Map任务1
使用率到达80%时，写入本地磁盘
本地磁盘
spillsortpartitioncombiner
Map4
ApplicationMaster
part002
ResourceManager (活动)
根据hdfs块大小进行split切片，分析成ker_value对数据，key偏移量，value是数据
file002
Shuffle
分区3
合并操作
Reduce3
file003
分区1
分区x
file522M
10MB
Client
MapReduce流程
分区y
排序、合并
0 条评论
回复 删除
下一页
