AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
Spark Job
2019-05-20 10:59:51
0
举报
分享方式
使用 (￥5)
spark job流程
spark
spark作业过程
Spark
spark BlockManger的全貌
模版推荐
作者其他创作
大纲/内容
Task 4-1
Task 2-2
Job4
Taskset 4
Taskset 3
Task 0-1
TaskSchedule
Job1
Taskset 2
资源分配任务调度
ExcutorBackend
Stage 0
Task 1-1
Task 2-1
Task 5-2
把Stage分为Tasks
Job 0
Drive
把Tasks添加到任务队列
Taskset 1
Stage
Task 3-1
提交jobrunjob
Task 5-1
Job2
Task 0-2
Task 1-2
DAG Scheduler
把job划分成Stage
执行调度
ScheduleBackend
Worker
Job3
1、Driver程序的代码运行到action操作，触发了SparkContext的runJob方法。2、SparkContext调用DAGScheduler的runJob函数。3、DAGScheduler把Job划分stage，然后把stage转化为相应的Tasks，把Tasks交给TaskScheduler。4、通过TaskScheduler把Tasks添加到任务队列当中，交给SchedulerBackend进行资源分配和任务调度。5、调度器给Task分配执行Executor，ExecutorBackend负责执行Task。
Task 3-2
Application
Stage 2
Taskset 5
Task 4-2
Taskset 0
Stage 1
触发atcion runjob
SparkContext
收藏
立即使用
hdfs存储
收藏
立即使用
MapReduce流程
收藏
立即使用
Spark Job
收藏
立即使用
项目规划
PO_904628
职业：本科
去主页
Collect
Get Started
Spark原生架构
Collect
Get Started
菜单合并job流程图
Collect
Get Started
Spark stack
Collect
Get Started
5-9Spark-AKKA
评论
0
条评论
下一页
Document
