Mapreder MR1
2017-04-04 22:42:12 0 举报
MapReduce MR1是一种用于大规模数据处理的编程模型和软件框架。它由Google公司开发,旨在解决传统并行计算中的问题,如数据分布、任务调度和故障恢复等。MR1的核心思想是将大规模数据集分解成多个小任务,并在集群上并行处理这些任务。每个任务由一个Mapper和一个Reducer组成,Mapper负责将输入数据转换为中间键值对,Reducer则负责将这些键值对合并为最终结果。MR1具有简单易用、可扩展性强等优点,被广泛应用于大数据处理领域。
作者其他创作
大纲/内容
Child JVM
MapTaskorReduceTask
8.retrieve jobresources
JobClient
TaskTracker
1.run job
HDFS
Child
5.initialize job
JobTracker node
3.copy job resources
4.submit job
MapReduceProgram
10.run
JobTracker
6.retrieve input splits
7.hreatbeat
Client node
9.launch
Client JVM
TaskTracker Node
2.get new job id
0 条评论
下一页