mapreduce

并发多个maptask

K1                              V1 hello                           1word                            1hadoop                        1

map端的shuffle将数据进行合并

并发多个reducetask

K1                             V1wu                                 <1>yes                          <1，1>no                                 <1>end                          <1，1>

reduce阶段1、统计单词数量

map输出

K1                              V1 hello                              3word                              4hadoop                         3happy                            1

K1                              V1 hello                   <1，1，1>word             <1，1，1，1>hadoop              <1，1，1>happy                            <1>

数据输入a.txthello，wordhadoophappy，hello，wordwu，word，hadoop，yesno，yes，hadoophello，word，endend

reduce端的shuffle将数据进行再次合并

K1                             V1no                                1yes                              1hadoop                       1hello                            1word                           1end                             1end                            1

reduce输入

K1                             V1wu                                 1yes                                2no                                 1end                               2

K1                                  V1happy                               1hello                                 1word                                 1wu                                    1word                                1hadoop                             1yes                                    1

map输入

inputformat

K1                              V1 hello                                 1word                                 1hadoop                             1happy                               1hello                                 1word                                 1wu                                    1word                                1hadoop                             1yes                                    1no                                     1yes                                    1hadoop                            1hello                                 1word                                1end                                  1end                                  1

K1                              V1 hello                   <1，1，1>word             <1，1，1，1>hadoop              <1，1，1>happy                            <1>wu                                 <1>yes                          <1，1>no                                 <1>end                          <1，1>

reduce输出

输出到磁盘K1                              V1 hello                              3word                              4hadoop                         3happy                            1wu                                1yes                               2no                                1end                              2