HA

DN1 IP: 172.24.10.3

DN3

服务组件元数据库、HUE、Oozie、Hive等

弹性扩容

本地CDH测试环境整体部署架构

Agent节点配置：CPU:32核 内存:64GB SSD:12T

                                                                                                                                                  Agent

ELK

离线数据

外部数据

DataNodeN节点部署 DataNode、NodeManager、KafkaRegionServer（Hbase进程） 等进程

Master节点注册ZK

客户端RestApi服务调用

物理机配置：CPU:8核 内存:32GB 硬盘:5T

API

KAFKA集群ZK集群

监视，警报和报告功能的角色组成的服务

本地CDH生产环境整体部署架构

物理机配置：CPU:32核 内存:64GB SSD:2T

集群内部服务数据

DN2

物理机配置：待定

DN1 

DN2 IP:172.24.10.4

管理员控制台

                

DN3 IP:172.24.10.5

                 Clients

mysql binlog、日志文件等

Agent节点配置：CPU:16核 内存:64GB SSD:1.8T

单独部署superset

DN5

腾讯云网络打通

Matser节点配置：CPU:16核 内存:64GB SSD:1.0T，系统盘：200G

DataNodeN节点部署 DataNode、NodeManagerRegionServer（Hbase进程） 等进程

Matser节点配置：CPU:16核 内存:64GB SSD:1.8T

DataBase（Mysql）

DRUID集群

物理机配置：CPU:8核 内存:16GB SSD:20T

ServerIP：172.24.10.2

数据展示

生产环境和测试环境数据同步后，进行网络隔离

使用一台物理机虚拟化三台虚拟机，分别装ZK、Kafka

DN4

Manager Service

Adim Console

拉取腾讯云数据

Sqoop入HDFS

Slave节点注册ZK

SUPERSET

接kafka实时数据

本地数据备份机器distCp定时备份

腾讯云外部数据

Sqoop入kafka

单独部署druid

Server

消费kafka数据入DN

腾讯云

单独部署ELK