flink on yarn 任务提交流程
2022-07-27 14:53:32 0 举报登录查看完整内容
flink on yarn 任务提交处理流程
作者其他创作
大纲/内容
flink yarn per job 任务提交流程
获取用户指定的入口类，并通过反射启动执行
创建与yarn交互 的YarnClientApplication
调用过程ClusterEntrypoint.runClusterEntrypoint()-->clusterEntrypoint.startCluster()-->startCluster()-->runCluster()
构造ApplicationSubmissionContext
通过SPI及启动方式（yarn-per-job）获取执行器的实现类对象-YarnJobClusterExecutor
flink run
创建YarnClusterDescriptor 执行deployJobCluster，开始部署yarn per-job cluster
通过yarnclient 提交 application master 启动了applicaitonMaster(yarnClient.submitApplication(appContext))
构造ContainerLaunchContext
执行用户类的里的StreamExecutionEnvironment.execute方法
获取PipelineExecutorFactory的实现类，执行StreamGraph
applicaiton Master拉起jobmanager，入口类为YarnJobClusterEntrypoint
入口类CliFrontend
获取配置信息（flink-conf.yamlspan style=\"font-size: inherit;\
生成StreamGraph
收藏
0 条评论
回复 删除
下一页
