HDFS
2017-04-09 20:08:43 0 举报
HDFS(Hadoop Distributed File System)是Apache Hadoop项目的核心子项目,它是一个高度容错性的分布式文件系统,能提供高吞吐量的数据访问。HDFS的设计目标是在大量机器上存储大量数据,并提供对这些数据的高性能访问。它将大文件切分成多个块,并将这些块分布在多台计算机上进行存储。这种分布式的存储方式使得HDFS能够在硬件故障时继续运行,并能从故障中恢复数据。此外,HDFS还提供了数据冗余备份,以防止数据丢失。HDFS广泛应用于大数据处理和分析领域,如MapReduce、Spark等大数据处理框架都支持HDFS作为其底层的文件系统。
作者其他创作
大纲/内容
JDBC
DataNode(8C32G4T)
物理机(DSP)
HTTP
数据采集集群
Hadoop集群
DMP待新增的组件
NameNode、HiveServer2、ZooKeeper、JournalNode(8C32G1T)
新迁移数据处理模块(CAAP-DMP-AIO-DMPLOGIC)(原CAAP-DMP-AIO-DMZWEB)
DataNode、JournalNode、ZooKeeper(8C32G4T)
SOLR(SF)
Flume(30.16.92.188)
Mysql(SF)
Flume(30.16.92.186)
HBASE(CAAP-DMP-JAD-APP-HDFS-HBASE)
Mysql(DB-CAAP-MYSQL)
HADOOP2-CORE-AIO-FILESERVER-DMZPARTNER
Flume(30.16.92.187)
ssh 远程拷贝
TCP
Mysql
CAAP-PWEB-AIO-PHP(DMZ)
Redis(SF)
HDFS(CAAP-DMP-JAD-APP-NAMENODE)
主备
CAAP-DMP-AIO-LFLOGIC(DMZ)
SQOOP(CAAP-DMP-JAD-APP-SQOOP)
CAAP-DMP-KAFKA(SF)
http post
DMP已有组件
ssh远程拷贝
酷宝云DB(Portal)
0 条评论
下一页