登录免费注册

首页  流程图  详情



 



MapRecude作业流程

MapRecude作业流程

2017-10-17 17:05:56   5  举报





MapReduce作业流程图

mapreduce

hadooop

流程

模板推荐

作者其他创作

大纲/内容

Uber任务

⑥启动节点管理器

节点管理器节点

作业完成后，输出统计信息

输出

⑦启动容器

客户端轮询进度和状态（每秒）

OutputCommitter

资源管理器ResourceManager

⑤调度容器

⑨接受输入分片分配任务ID

⑪启动节点管理器

共享文件系统eg.HDFS

k

YarnChild

⑧创建簿记对象记录任务进度和报告

客户端

⑩请求更多的容器优先级mapreducemap完成5%才会处理reduce请求map本地限制，reduce无限制

故障转移控制器

资源管理器节点

YARN应用JVM

删除中间输出和临时目录（作业完成）

③复制作业所需资源（多份JAR+计算输入分片）

Hadoop客户端

④提交作业

①请求分配应用ID

②检查输入输出合法性

⑫启动容器

通过umbilical接口报告进度和状态（每3秒）

移动到最终目录（作业完成）

输出到临时目录（作业未完成）

Map/Ruduce

节点管理器NodeManager

YARN调度器

Application Master

⑬数据本地化（Jar、配置）

 Collect

Get Started

商户作业平台改造流程

 Collect

Get Started

平台作业流程

 Collect

Get Started

指定作业逻辑

 Collect

Get Started

平台作业流程（被动）













评论

0 条评论

下一页

Document