AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
spark任务流程图
2021-11-09 10:47:29
3
举报
分享方式
免费使用
spark任务流程图
业务流程
模版推荐
作者其他创作
大纲/内容
提数需求是否存在
Executor线程
zookeeper
Worker:从节点上资源和任务的管理者
提数需求完成
启动方式：1、spark-submit2、spark-shell3、程序
防止单节点故障
职责：相当于ResourceManger1、管理调度集群资源任务和任务2、接收客户端的任务请求3、部署方式：standalone（master），yarn，local，mesos
根据数据类型指派同学接受并分配编号
是
按照流程完成开发并邮件回复
将对象提交给集群
产品提数需求记录文档排查
Driver Program核心：创建一个sc对象（sparkContext）
数据需求编号并文档记录
服务器端
运营发起提数需求
否
主节点cluster manager
产品提数需求接收
Worker 默认行为是占用该建该节点上的所有资源
提数sql规范归档
客户端
spark没对内存进行管理，内存的管理都交给了应用程序，代码写时要考虑性能，否则容易出现OOM，就是内存溢出
收藏
立即使用
spark任务流程图
收藏
立即使用
CM架构图
66666ma
职业：暂无
去主页
Collect
Get Started
任务实施流程图
Collect
Get Started
Spark stack
Collect
Get Started
任务回收流程
Collect
Get Started
统计任务流程
评论
0
条评论
下一页
Document
