spark-submit提交任务流程
2017-04-01 14:47:00 0 举报
Spark-submit是Apache Spark的一个命令行工具,用于提交Spark应用程序。其提交任务流程如下:首先,编写一个Spark应用程序,并将其打包成jar或py文件。然后,使用spark-submit命令提交这个应用程序。在命令中,需要指定主类(对于jar文件)或者python脚本的路径(对于py文件),以及应用程序所需的jar包和依赖。此外,还可以指定一些其他参数,如master节点地址、应用名称、部署模式等。最后,Spark集群会启动应用程序,并在Executor上执行任务。
作者其他创作
大纲/内容
setupEndpoint
shell
RequestSubmitDriver
SparkSubmit
waitingDrivers: ArrayBuffer[DriverInfo]
Client
spark-submit
main
spark-class
receiveAndReply
masterEndpoints
java -cp
ClientEndpoint
onStart
RpcEnv
invoke main
Master
add Driver
0 条评论
下一页