spark shuffle 过程

file3

file2

1)按key 进行分组，相同key 值的value 写入到一个文件中2) stage0 生成得file 数量得多少看stage1 中得task 有几个，有几个生成几个文件

file1

buffer 中，满了溢写到磁盘

reducetask1

reduce buffer的默认大小executor-memory 的20%spark.shuffle.memoryFraction=0.2

stage1

reducetask2

group by key算子过程默认不会在map端进行合并，如果有大量得map操作，new SparkConf().set(\"spark.shuffle.consolidateFiles\

buffer的默认大小32Kspark.shuffle.file.buffer =32，

task1

read

lgs: 注 这里如果是reduce bykey

stage0

file4

task2