dssaa
2016-09-27 13:34:00 0 举报
”dssaa”这个词没有明确的含义,它可能是一个拼写错误或者是一个特定领域的术语。由于缺乏上下文信息,我们无法准确地描述这个词。如果您能提供更多关于这个词的背景信息,我们将很高兴为您提供更详细的描述。在您提供更多信息之前,我们可以尝试猜测这个词可能与某个领域或概念有关,但是这种猜测可能会产生误导。因此,我们建议您提供更具体的信息,以便我们能够更好地帮助您。
作者其他创作
大纲/内容
Task 的数量:1. spark.default.parallelism 用于减少reduce 任务2. 去减少RDD中partition数量3. 在 streaming 中还受到 读取数据是设置的 时间片 的影响,越小越多
分布式文件系统
read data
Executor
resultTask
读取数据的产生的存储storeage
reduce
Transformation
mapfilterflatMapmapPartitionsreducebykey...........
collect
map 标记单词
产生存储 storeage
work
shuffleMapTask
数据的交互
启动和监控
Executor:xecutor是一个应用程序运行的监控和执行容器。与 cluster 交互执行情况
Cluster Manager
start ()
foreach
words count stream为例 集群运行
Task
Standalone
flatmap 分割单词
action
work:可以运行spark应用代码的节点。
启 动
Stage
Mesos
业 务 流 程
count
mq
driver
如果job中有多次shuffle,那么每个shuffle之前都是一个stage
Yarn
? 广播时是否互相发送数据
等等任务调度器
产生一个job由collect 触发
通过shuffle 划分
reduce by key 统计
。。。。
0 条评论
下一页
为你推荐
查看更多