AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
Spark
2022-09-15 20:27:11
1
举报
分享方式
使用 (￥3)
Spark系统架构图
系统架构
后端
大数据架构图
模版推荐
作者其他创作
大纲/内容
task32
Wroker Node
cache
DAG有向无环图
提供
Cluster Manager资源管理器
SparkContext
Executor:运行Spark作业中具体的任务，并且将执行结果返回给Driver。通过自身的块管理器（Block Manager）对用户要求缓存的RDD进行内存式存储。RDD式缓存在Executor进程内部的，这样任务在运行时可以充分利用缓存数据加速运算。
Executor
RDD1
task22
Application
4.分配资源启动Executor进程
客户端
负责运行Spark程序中的main方法，执行实际的代码。Driver在Spark作业时主要负责：1.将用户程序转化为作业（job）。2.负责Executor之间的任务（task）调度。3.监控Executor的执行状态。4.通过UI展示运行情况。
5.心跳
spark任务调度
TaskScheduler任务调度器
RDD3
6.申请任务
task11
7.分发任务
DAGScheduler调度器
1.提交程序
2.构建起基本的运行环境
3.注册并申请运行Executor的资源
解析
Driver 任务控制节点
RDD2
收藏
立即使用
Spark
fanfan
职业：大数据开发
去主页
Collect
Get Started
5-9Spark-AKKA
Collect
Get Started
Spark
Collect
Get Started
Spark思维导图
Collect
Get Started
SparkEnv 源码分析
评论
0
条评论
下一页
Document
