集中性能新架构

分布式表

数据存储层

大屏展现

原始数据

批流一体实时数仓-KAPPA架构

KETTLE

数据填报

服务发现与治理

实时汇聚物化视图

查询

实时数据

容器编排平台

Clickhouse

数据库信息

HDFS集群

数据采集层

工具及平台

FLUME

GreenPlum

应用层

FLINK

历史数据

KAFKA集群

实时采集

KAFKA消息队列

原始文件

报表查询

ClickHouseOLAP DBMS应用

SQOOP

ClickHouse物化视图 - 实时OLAP

预处理层

数据库

输出适配

设备信息

HDFS分布式文件存储

湖仓一体

监控告警平台

零拷贝 高性能 ETL (C程序，分布式)

GP/Mysql/PG关系型数据库

文件

Beam

本地表

TaskManager

HIVE

海量原始历史数据仓库和离线分析（主要用于大数据备份使用）

可视化分析

1. 统一架构，信息港和呼池使用同一套架构2. 减化处理环节，采用批流一体实时数仓架构，数据在流转过程中不落盘3. 引用湖仓一体，打通数据仓库和数据湖两套体系，统一源数据管理，统一开发体验；提供有机的大数据生态体系4. 引入K8S统一编排所有组件，提升资源利用率，轻化后期的运维、维护；

数据分析层

HIVE/SPARK

数据核查工具

ods基础数据本地表

数据流举例

监控与运维

支持弹性伸缩编排，基于数据一致的批流一体KAPPA架构的实时数仓，配合海量数据离线计算框架，完成业务数据支撑及展现

DataBench

K8S弹性容器编排

设备

统一认证平台

输入适配

离线计算任务

HDFS

前置机

数据源

批流一体

可视化报表工具

Redis高速缓存NoSql存储

定时/条件触发

应用服务层

微服务跟踪治理平台