AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
spark关于wordcount的数据流
2017-10-27 14:37:56
0
举报
分享方式
使用 (￥5)
spark关于wordcount的数据流
spark
数据流
模版推荐
作者其他创作
大纲/内容
hello hadoop
mappartitionsRDD
stage1
var words=lines.flatmap(line=line.split(\" \"))
partition上reduce操作
mr.saveAsTextFile(\"/test\")
数据整理并入hdfs
map
hello spark hello hgq
从hdfs中读取分布式文件，并且以数据分片的方式存于集群中
shuffer
hello spark hello hgqhello hadoophello scala
对每个partition的每行进行单词切分
stage0
hello scala
textFile
var mr=wp.reduceBykey(_+_)
flatmap
hadoopRDD
shuffer之前本地reduce操作
基于hadoopRDD产生的partition去掉行key
var lines = sc.textFile(\"/test.txt\
shufferedRDD
hdfs中分布式文件test.txt
收藏
立即使用
spark关于wordcount的数据流
无穷大
职业：暂无
去主页
Collect
Get Started
查询数据流
Collect
Get Started
数据流图
Collect
Get Started
spark wordcount源码分析
Collect
Get Started
数据流图
评论
0
条评论
下一页
Document
