DN1 IP: 172.24.10.3
DN3
服务组件元数据库、HUE、Oozie、Hive等
弹性扩容
本地CDH测试环境整体部署架构
Agent节点配置：CPU:32核 内存:64GB SSD:12T
Agent
ELK
离线数据
外部数据
DataNodeN节点部署 DataNode、NodeManager、KafkaRegionServer（Hbase进程） 等进程
Master节点注册ZK
客户端RestApi服务调用
物理机配置：CPU:8核 内存:32GB 硬盘:5T
API
KAFKA集群ZK集群
监视，警报和报告功能的角色组成的服务
本地CDH生产环境整体部署架构
物理机配置：CPU:32核 内存:64GB SSD:2T
集群内部服务数据
DN2
物理机配置：待定
DN1
DN2 IP:172.24.10.4
管理员控制台
DN3 IP:172.24.10.5
Clients
mysql binlog、日志文件等
Agent节点配置：CPU:16核 内存:64GB SSD:1.8T
单独部署superset
DN5
腾讯云网络打通
Matser节点配置：CPU:16核 内存:64GB SSD:1.0T，系统盘：200G
DataNodeN节点部署 DataNode、NodeManagerRegionServer（Hbase进程） 等进程
Matser节点配置：CPU:16核 内存:64GB SSD:1.8T
DataBase（Mysql）
DRUID集群
物理机配置：CPU:8核 内存:16GB SSD:20T
ServerIP：172.24.10.2
数据展示
生产环境和测试环境数据同步后，进行网络隔离
使用一台物理机虚拟化三台虚拟机，分别装ZK、Kafka
DN4
Manager Service
Adim Console
拉取腾讯云数据
Sqoop入HDFS
Slave节点注册ZK
SUPERSET
接kafka实时数据
本地数据备份机器distCp定时备份
腾讯云外部数据
Sqoop入kafka
单独部署druid
Server
消费kafka数据入DN
腾讯云
单独部署ELK
