AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
spark基本工作原理
2019-11-25 13:58:47
0
举报
分享方式
使用 (￥6)
spark基本工作原理
spark基本工作原理
模版推荐
作者其他创作
大纲/内容
节点5，处理后的数据存在内存中
spark和mapreduce最大的不同在于，迭代式计算模型，mapreduce，分为两个阶段，两个阶段玩了，就结束啦，所以我们在一个job能做的处理有限，只能在map和reduce里处理spark，计算模型，可以分为n个阶段，因为他是内存迭代式的，我们在处理完一个阶段以后，可以继续往下处理很多个阶段，
读取数据，90w条
节点4，处理后的数据存在内存中
节点1，在内存中存档30w条
节点2，在内存中存档30w条
mysql，hbase
直接返回到客户端（运行spark的机器和程序）
提交到spark集群
spark集群
hadoop的hive和hdfs
节点8
节点9
hdfs，hive，hadoop
所有计算操作，都是针对多个节点上的数据，进行并行计算操作的
节点7
client
节点6，处理后的数据存在内存中
节点3，在内存中存档30w条
收藏
立即使用
Hbase 详细架构
收藏
立即使用
Hbase架构图
收藏
立即使用
spark基本工作原理
玉皇大帝他爸
职业：暂无
去主页
Collect
Get Started
标记器原理
Collect
Get Started
ElasitcSearch工作原理
Collect
Get Started
5-1Spark
Collect
Get Started
工作原理
评论
0
条评论
下一页
Document
