Spark_Scheduler_Result
2016-09-27 11:43:10 0 举报Spark_Scheduler_Result是一个用于描述Apache Spark调度器执行结果的术语。它包含了关于任务分配、资源利用和作业执行状态等方面的信息。通过分析Spark_Scheduler_Result，我们可以了解作业在集群中的执行情况，以及调度器如何根据资源的可用性和作业的需求来分配任务。这对于优化作业性能和调整集群资源分配策略具有重要意义。
作者其他创作
大纲/内容
handleSuccessfulTask()
Stage结束
DriverEndpoint
post()
CompletionEvent事件
eventQueue
enqueueSuccessfulTask()
taskEnded()
CoarseGrainedSchedulerBackend
taskSucceeded()
makeOffres()
launchTask()
ShuflleMapTask
run()
handleTaskCompletion()
Executor
JobWaiter
TaskSetManager
onReceive()
TaskRunner
runTask()
ResultTask
StatusUpdate事件
statusUpdate()
DAGSchedulerEventProcessLoop
CoarseGrainedExecutorBackend
TaskResultGetter
Executor端
TaskSchedulerImpl
markStageAsFinished()
DAGScheduler
maybeFinishTaskSet()
doReceive()
taskSetFinished()
Driver端
receive()
Task
开始下一批的Task调度
Job结束
0 条评论
下一页
