数据中台硬件方案架构图
2021-07-12 17:32:47 5 举报
登录查看完整内容
数据中台硬件方案架构图
作者其他创作
大纲/内容
x3
数据存储层，采用postgres数据库，同时支持关系型数据和jsonb数据存储，满足策略、规则等非结构化数据存储的需求。
数据源
x4
实时数据处理Flink SQL
算法服务层，对数据中台的数据进行抽取、加工和处理，利用计算引擎构建数据指标集。通过特征工程和机器学习算法进行建模。
离线数据处理Impala Hadoop / Hive
Postgres集群
NC 系统
Kylin OLAP
x5
xx生产环境新增硬件实体机16台
数据同步
CPU: 16核内存：128GSSD: 4T虚拟机：23台
x12
CPU: 16核内存：128GSSD: 4T
智库决策系统集群
CPU: 32核内存：256GSATA: 48T
Elastic Search集群
智能决策层，将算法服务层提供的数据灌入规则模型。定义决策变量、决策条件、决策结果，并提供多样化的接口服务。
采用kylin作为指标计算引擎，通过构建数据立方实现数据预计算，提高指标查询效率。
x13
DaaS集群
主节点CPU: 16核内存：128GSSD: 4T
CPU: 32核内存：256GSSD: 4T
数据应用层，基于智能决策层产生的数据，构建业务流程。支持数据应用定制化开发，满足业务灵活、快速、多变的需求。
实时数据采集DCT / Kafka
其他数据
数据处理
数据节点CPU: 16核内存：128GSSD: 24T
Oracle集群
数据服务
BI - MDM
算法服务
x 虚拟机 23台
Presto集群
数据仓库
x2
离线批量采集Informatical集群
CPU: 24核内存：256GSSD: 10T
实时数仓Kudu
数据中台现有硬件物理机59台虚拟机23台
智库场景应用集群
MDM
外部数据
业务系统
数据节点CPU: 16核内存：128GSSD: 10T
CPU: 16核内存：128GSSD: 10T
0 条评论
回复 删除
下一页
