CDH大数据平台主机部署架构图

..3...

.....

故障切换

主机

集群中的HDFS数据查询写入，对应的数据块在哪台datanode节点，都是通过该节点来调度分配。

Yarn Resource Manager

ZooKeeper+Kafka

Shell

资源管理节点

由工具节点提交过来的任务由该Yarn RM进行调度，再根据资源情况把任务分配到对应的Node Manager节点运行

..主从...

CDH大数据平台主机部署架构图

用户

bigdata-ut1: 192.100.96.143bigdata-ut2: 192.100.96.144bigdata-ut3: 192.100.96.145

CM节点

bigdata-yn1: 192.100.96.149bigdata-yn2: 192.100.96.150

My SQL 业务数据库

工具节点服务器租

bigdata-dn1: 192.100.96.146bigdata-dn2: 192.100.96.147bigdata-dn3:  192.100.96.148

工作节点服务器组

所有主机为虚拟机，操作系统版本 CentOS 7.9.2009：CDH 版本为 6.3.2各服务器之间关系有三种：1. 高可用的： 故障切换2. 副本或平行关系的：标识为具体副本数字3. 主从关系管理员和开发人员主要通过CM 节点上提供的网页或者登录到对应服务器上使用shell命令进行系统查看、管理、配置。

DataNode

..3..

NameNode管理服务器组

提交节点

健康检查

bigdata-nn1: 192.100.96.141bigdata-nn2: 192.100.96.142

名称节点

Yarn 管理调度服务器组

Node   Manager

bigdata-cm: 192.100.96.140

  该节点主要包括如下组件服务

bigdata-db1: 192.100.96.151bigdata-db2: 192.100.96.152

1. 集群元数据Mysql 2. Activity Monitor3. Alert Publisher4. Event Server5. Host Monitor6. Service Monitor