spark wordcount源码分析
2026-02-10 16:49:39 0 举报spark wordcount源码分析图
作者其他创作
大纲/内容
Nil
runJob
deps
file
ShuffleManager
Iterator
reader(): ShuffleReader
getDependencies
foreach()
getNext()
OneToOneDependency
prev
inputFormatRecordReader
reduceByKey(_ + _)
ShuffledRDD
flatMap中传入的函数
compute()
textFile
map中传入的函数
MapPartitionsRDD
HadoopRDD
flatMap(_.split(\" \"))
writer():ShuffleWriter
0 条评论
下一页
