days 1

Map

Barrier : Aggregation and shuffle

MapReduce执行过程文档的数据记录是以键值对的形式传入Map函数，然后Map函数对这些键值对进行处理，输出到中间结果，在交给Reduce处理之前，必须等到所有的Map都完成。在完成这个中间结果同时，也会完成对map的中间结果的统计，如： a. 对同一个map节点的相同key的value值进行合并 ， b. 之后将来自不同map的具有相同的key的键值对送到同一个reduce 进行处理 。在reduce阶段，每个reduce节点得到的是从所有map节点传过来的具有相同的key的键值对。reduce节点对这些键值进行合并。

Reduce

数据划分

计算结果

海量数据存储

中间过程