mapreduce流程
2019-12-04 09:43:27 1 举报登录查看完整内容
流程图
作者其他创作
大纲/内容
<A，1> <C，1>
<B，1> <F，1>
1.待处理文本
11.默认TextOutputFormat
0~128M
200Ma.txt
分区1
80%溢写（默认100M）
8.copy到reducetask中（使用网络传输）
yarn
10.一次读取一组
<A，1> <A，1><C，1> <E，1>
5.使用TextInputFormat（RecordReader）可以使用其他..
分区2
<B，1> <D，1><F，1> <F，1>
<A，1> <E，1>
继承Mapper类重写map(）方法
<D，1> <F，1>
9.合并文件，归并排序
RecoedWriter
reducer
7.归并排序
outputFormat
<A，1> <A，1><A，1> <A，1><C，1> <C，1><E，1> <E，1>
4.计算出maptask数量
6.向缓冲区写入数据
0~128M128M~200m
写入数据
GroupCompartor
3.提交信息切片
partition1
inputformat
11.二次排序
排序
2.提交客户端submit（）
<B，1> <B，1><D，1> <D，1><F，1> <F，1><F，1> <F，1>
InputOutputContext
partition2
part-r-00000
MR appmasterNodeManager
context.write()
ReduceTask2
MapTask
part-r-00001
ReduceTask1
收藏
0 条评论
回复 删除
下一页
