AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
作业提交过程
2016-04-02 14:20:21
5
举报
分享方式
免费使用
Spark作业提交过程
Spark
模版推荐
作者其他创作
大纲/内容
Pool
addTaskSetManager
是
划分Stage和具体的数据本地性
否
寻找默认pool的调度队列
将新创建的TaskSetManager加入已经初始化过的schedulableBuilder中，进行作业具体的调度。（schedulableBuilder初始化时在创建SparkContext时进行的。）
FIFO
overrideaddTaskSetManager（加入作业集合的管理器）直接加入根节点的调度队列
TaskScheduler具体实现类TaskSchedulerImpl
调用backend的reviveOffers方法
触发taskScheduler.submitTasks方法创建TaskSet(初始化参数包括task本身、taskid、stageid、jobId以及优先性)
submit方法（Submit a sequence of tasks to run.）
寻找该优先级的调度队列，将TaskSetManager加入其中
Fair
创建TaskSetManager来管理TaskSet（作业集合）
DAGScheduler
直接将TaskSetManager加入默认pool的调度队列中
优先级是否为空
submitMissingTasks方法
收藏
立即使用
TaskSchedulerImpl-resourceOffers
收藏
立即使用
作业提交过程
520教授
职业：暂无
去主页
Collect
Get Started
医生提交药单活动图
Collect
Get Started
MVCC读已提交过程
Collect
Get Started
软件过程管理作业
Collect
Get Started
提交申请流程
评论
0
条评论
下一页
Document
