Spark On Yarn运行机制图

Spark On Yarn是一种运行模式，它允许Spark应用程序在Hadoop YARN集群上运行。在这种模式下，Spark将任务提交给YARN的资源管理器（ResourceManager），然后由资源管理器分配资源并启动执行器（Executor）来执行任务。Spark On Yarn支持多种调度策略，包括FIFO、FAIR和CAP等。此外，它还支持多种存储级别，包括本地磁盘、HDFS和云存储等。总之，Spark On Yarn提供了一种灵活且可扩展的方式来运行Spark应用程序。