Spark-ReceiveResult
2017-04-02 18:35:18 0 举报
Spark-ReceiveResult是Apache Spark中的一个组件,用于接收和处理从其他节点发送过来的结果数据。在分布式计算中,当一个任务完成后,它会将结果数据发送回Driver节点,然后由Driver节点负责将这些结果数据进一步处理或存储。Spark-ReceiveResult的主要作用就是接收这些结果数据,并将其转换为可供后续处理的格式。通过使用Spark-ReceiveResult,可以实现高效的数据传输和处理,从而提高整个分布式计算系统的性能和可靠性。
作者其他创作
大纲/内容
ExecutorEndpoint.send.(StatusUpdate)
statusUpdate
DAGScheduler
TaskResultGetter
hadnleTaskCompletion
CoarseGrainedExecutorBackend
Task.run
CoarseGrainedSchedulerBackend
DAGSchedulerEventProcessLoopPost
handleSuccessfulTask
Executor
sumbitTask
TaskSetManager
TaskScheduler
taskEnded
CompletionEvent
enqueueSuccessfulTask
OnReceive
0 条评论
下一页