Spark
2022-09-15 20:27:11 1 举报
登录查看完整内容
为你推荐
查看更多
Spark系统架构图
作者其他创作
大纲/内容
task32
Wroker Node
cache
DAG有向无环图
提供
Cluster Manager资源管理器
SparkContext
Executor:运行Spark作业中具体的任务，并且将执行结果返回给Driver。通过自身的块管理器（Block Manager）对用户要求缓存的RDD进行内存式存储。RDD式缓存在Executor进程内部的，这样任务在运行时可以充分利用缓存数据加速运算。
Executor
RDD1
task22
Application
4.分配资源启动Executor进程
客户端
负责运行Spark程序中的main方法，执行实际的代码。Driver在Spark作业时主要负责：1.将用户程序转化为作业（job）。2.负责Executor之间的任务（task）调度。3.监控Executor的执行状态。4.通过UI展示运行情况。
5.心跳
spark任务调度
TaskScheduler任务调度器
RDD3
6.申请任务
task11
7.分发任务
DAGScheduler调度器
1.提交程序
2.构建起基本的运行环境
3.注册并申请运行Executor的资源
解析
Driver 任务控制节点
RDD2
0 条评论
回复 删除
下一页
