yarn启动和运行流程
2022-01-29 10:54:29 9 举报
登录查看完整内容
yarn启动和运行流程
作者其他创作
大纲/内容
ResourceManager
IO操作→
0
client
ContainerCPU+RAMMapTask
MapTask
运行方式↓
5.将用户的请求初始化为一个task
container
1
/home/joecool/wc.jarmain(){ job.waitForCompletion();} YarnRunner
NodeManager
7.创建container容器
ContainerCPU+RAMReduceTask
hadoop003
Capacity策略
hadoop002
13.Reduce运行
SecondaryNameNode
8.下载job资源到本地
1.申请一个Application
hadoop004
2.Application资源提交路径hdfs://.../staging和application_id
9.申请资源运行MapTask
hdfs://.../staging/application_id在job.submit()后生成Job.splitjob.xmlwc.jar
12.向RM申请两个容器运行ReduceTask
ReduceTask
3.提交job运行所需要的资源
NameNode
DataNode
AppMstr
4.资源提交完成，申请资源运行mrAppMaster
10.领到任务创建容器
加入FIFO队列
ContainerCPU+RAMMRAppMaster
整体架构→
6.领取到task任务
11.发送程序启动脚本
0 条评论
回复 删除
下一页
