AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
Spark Job提交函数级源码剖析
2021-04-11 21:51:39
4
举报
分享方式
免费使用
这个思维导图描述了Job的生成、DagScheduler、TaskScheduler
spark作业过程
Spark执行流程
模版推荐
作者其他创作
大纲/内容
submitStage(finalStage)是一个复杂的过程，需要详细画另外一张图说明
JobSubmmited是一个DAGSchedulerEvent接口的具体实现
JobSubmmited
Package: SparkUtil
引用
DAGSchedulerEventProcessLoop是对EventLoop的实现，实现根据DagScheduler的Event处理。
createResultStage
handleJobSubmitted:是对提交的任务进行处理，
EventLoop Class
CHECK POINT
DAGSchedulerEventProcessLoop
SparkContext.runjob
handleJobSubmmited
submitJob
EventLoop是一个Spark公共使用类，包含对接受到的Event进行处理，包含线程的原子处理。DAGScheduler的event需要考虑针对event的处理。
submitStage(finalStage)
提交Job
runjob
Action算子
dag.runjob
SparkContext Class
DagScheduler Class
收藏
立即使用
Spark Job提交函数级源码剖析
Z宇锤锤
职业：暂无
去主页
Collect
Get Started
SparkEnv 源码分析
Collect
Get Started
C语言函数
Collect
Get Started
Hadoop Job提交流程
Collect
Get Started
提交订单-选择四级市流程
评论
0
条评论
下一页
Document
