shuffle阶段
2021-03-01 11:40:29 6 举报
登录查看完整内容
mapreduce的shuffle阶段具体内容
作者其他创作
大纲/内容
K2 V2
排序
继承Reducer类，重写reduce方法；接收来自map阶段传来的数据，传入传出类型与map输出类型一致，提前对文件进行合并，减轻reduce阶段的工作压力
K1 V1
重写mapper方法
s.txt
inputformat
在reduce阶段将排序后的数据数据进行分组，形成新的文件等待reducetask的调用
分组
reducetask1
规约
分区
shuffle
map阶段
reducetask0
继承Partitioner类，重写getPartition方法；接收从map阶段传来的数据，确定分区依据，返回分区号。在driver类指定分区类、分区数量
重写reduce方法有几个分区就会产生相对应的几个reducetask
0 条评论
回复 删除
下一页
