Master-Worker启动注册

Shell中exec启动Master

实例化过程中创建相应的数据结构，用来存储WorkerId、Application、Drivers、executors等相关信息。以及读取SparkEnv的相关配置信息进行初始

Worker中Main方法中rpcEnv.setupEndpoint实例化并启动Worker

实例化过程中创建相应的数据结构，用来存储Worker、Application、Drivers等相关信息。以及初始化相应数据和读取hadoop的相关配置信息

receiveAndReply方法接收到Worker的注册请求:1、状态为RecoveryState.STANDBY，返回MasterInStandby2、Master中包含该WorkerId返回RegisterWorkerFailed(\"Duplicate worker ID\")3、非上述两种情况：创建WorkerInfo对象；保存WorkerInfo到Master数据结构中；将WorkerInfo进行持久化；返回RegisteredWorker；调度资源进行任务执行schedule（）；

onStart:1、创建Worker的工作目录2、启动shuffleService3、绑定并启动WebUI信息并启动服务4、向Master注册5、 metricsSystem.registerSource(workerSource) metricsSystem.start()

Master中Main方法中rpcEnv.setupEndpoint实例化并启动Master

Worker

没有找到对应Worker返回ReconnectWorker

Worker想Master注册

重新执行registerWithMaster

Master和Worker启动过程

onStart调用registerWithMaster=tryRegisterAllMasters=new Runnable()=registerWithMaster(masterEndpoint)=masterEndpoint.ask[RegisterWorkerResponse](RegisterWorker(*)

onStart:1、绑定并启动WebUI信息并启动服务2、检查超时的Worker并进行清除3、masterMetricsSystem.start() applicationMetricsSystem.start()4、创建持久化引擎

Shell中exec启动Worker

Master