spark-submit提交任务流程

2017-04-01 14:47:00 0 举报
仅支持查看
Spark-submit是Apache Spark的一个命令行工具,用于提交Spark应用程序。其提交任务流程如下:首先,编写一个Spark应用程序,并将其打包成jar或py文件。然后,使用spark-submit命令提交这个应用程序。在命令中,需要指定主类(对于jar文件)或者python脚本的路径(对于py文件),以及应用程序所需的jar包和依赖。此外,还可以指定一些其他参数,如master节点地址、应用名称、部署模式等。最后,Spark集群会启动应用程序,并在Executor上执行任务。
作者其他创作
大纲/内容
评论
0 条评论
下一页