Spark-ExecuteJob
2017-04-02 15:07:39 0 举报
Spark-ExecuteJob是一个用于执行Apache Spark作业的命令行工具。它允许用户提交一个或多个Spark应用程序,并在集群上运行它们。通过使用Spark-ExecuteJob,用户可以方便地管理和监控他们的Spark作业,包括查看作业的状态、日志和性能指标。此外,Spark-ExecuteJob还支持一些高级功能,如配置作业的资源分配、设置作业的优先级和依赖关系等。总之,Spark-ExecuteJob是一个功能强大且易于使用的工具,可以帮助用户更有效地利用Apache Spark处理大规模数据。
作者其他创作
大纲/内容
Task.run
Executor.launchTasks
Executor
makeOffers
submitJob
CoarseGrainedSchedulerBackend
CoarseGrainedExecutorBackend
rubJob
TaskRunner.run
handleJobSubmitted
TaskScheduler
DAGSchedulerEventProcessLoopPost
launchTasks
LaunchTasks
receiveOffers
submitMissingTasks
RDD.action
Receive
JobSubmitted
SparkContext.runJob
sumbitTask
RpcEndpointRef.send.(ReceiveOffers)
OnReceive
DAGScheduler
submitStage
ExecutorEndpoint.send.(LaunchTask)
0 条评论
下一页