hadoop-MapReduce的核心思想
2021-01-28 17:07:24 15 举报
登录查看完整内容
对mapreduce的核心思想进行简单的抽象提取
作者其他创作
大纲/内容
统计a-p开头的单词
输入数据到文件 落盘
需求:统计每个单词出现的次数 具体：一个单词出现的总次数查询结果：a-p开头的一个文件q-z开头的一个文件
MapTask
hadoopsparkhadoopsparkaabbcczzxxyy
128M 根据系统设置进行切块
Reduce阶段
200-128=72M
200M
100M
2
分区1：a-p分区2：q-z
1
ReduceTask
Map阶段
统计q-z开头的单词
3
0 条评论
回复 删除
下一页
