HADOOP_HOME
2016-03-25 15:59:08 10 举报
AI智能生成
登录查看完整内容
Hadoop是一个开源的分布式计算框架,它允许用户在大规模数据集上进行存储和处理。Hadoop的核心组件包括Hadoop Distributed File System(HDFS)和MapReduce。HDFS提供了一个高度容错性的文件系统,能够在廉价的硬件上运行,并且能够自动将数据分布在多个节点上。MapReduce则是一种并行计算模型,它能够将大规模的数据集分解成多个小任务,然后在多个节点上并行处理这些任务。Hadoop广泛应用于大数据处理、机器学习、图分析等领域。
作者其他创作
大纲/内容
HADOOP_HOME
src
ant:Ant编译相关的代码
benchmarks:MapReduce基准测试集gridmix
c++:C++代码,如libdfs,pipes等
contrib:功能扩展包,如其他Hadoop调度器,Hadoop Streaming等
core:基础代码库
docs:文档
examples:一些MapReduce作业实例程序,包括Java,C++和Python三种语言实现
hdfs:HDFS实现代码
mapred:MapReduce实现代码
native:本地库,主要是压缩编解码器
packages:针对rpm或者deb发行版的管理工具
test:测试程序
tools:Hadoop工具,比如日志分析工具等
webapps:Web界面相关的jsp代码
conf:存放各种配置文件
问题1
问题2
问题3
lib:运行时依赖的三方库
客户需求
解决方案
案例示范
保险方案
bin:存放各种Hadoop管理脚本
hadoop*-1.2.1.jar:Hadoop代码编译后的jar包
要点1
要点2
要点3
......
0 条评论
回复 删除
下一页