AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
shuffle阶段
2021-03-01 11:40:29
9
举报
分享方式
免费使用
mapreduce的shuffle阶段具体内容
mapreduce
shuffle
模版推荐
作者其他创作
大纲/内容
K2 V2
排序
继承Reducer类，重写reduce方法；接收来自map阶段传来的数据，传入传出类型与map输出类型一致，提前对文件进行合并，减轻reduce阶段的工作压力
K1 V1
重写mapper方法
s.txt
inputformat
在reduce阶段将排序后的数据数据进行分组，形成新的文件等待reducetask的调用
分组
reducetask1
规约
分区
shuffle
map阶段
reducetask0
继承Partitioner类，重写getPartition方法；接收从map阶段传来的数据，确定分区依据，返回分区号。在driver类指定分区类、分区数量
重写reduce方法有几个分区就会产生相对应的几个reducetask
收藏
立即使用
mapreduce详细流程
收藏
立即使用
shuffle阶段
收藏
立即使用
mapreduce
蒲公英的约定
职业：暂无
去主页
Collect
Get Started
燕尾箭头类型的阶段步骤描述图
Collect
Get Started
第一阶段
Collect
Get Started
项目各阶段准备工作
Collect
Get Started
第一阶段
评论
0
条评论
下一页
Document
