1.SparkContext初始化流程
2016-12-13 19:00:10 0 举报
SparkContext是Apache Spark的入口点,它代表与Spark集群的连接。初始化流程如下:首先,用户需要创建一个SparkConf对象,用于设置应用程序的配置参数。然后,通过调用SparkConf的get方法获取一个新的SparkConf实例。接下来,使用SparkConf实例创建一个新的JavaSparkContext实例。最后,用户可以从JavaSparkContext实例中获取当前运行的Spark应用的信息,如应用名称、应用ID等。
作者其他创作
大纲/内容
调用SparkDeploySchedulerBackend的start方法里面创建AppClient,创建ClientActor线程,线程内registerWithMaster,接着tryRegisterAllMasters。向Master Actor发送RegisterApplication
在Master一节有讲解如何处理注册
DAGSchedulerEventProcessActor
TaskScheduler创建结束
SparkUI
创建DAGScheduler
SparkContext
创建Executor后,反向注册到SparkDeploySchedulerBackend
调用TaskSchedulerImpl的init,创建SchedulePool
调用TaskSchedulerImpl的start方法
创建TaskSchedulerImpl
创建TaskScheduler
创建SparkDeploySchedulerBackend
Master
0 条评论
下一页