数据应用系统物理部署图
2021-07-12 17:38:33 17 举报
登录查看完整内容
数据应用系统物理部署图
作者其他创作
大纲/内容
xx数据中台，运用先进的大数据架构和技术，提供数据离线和实时采集、处理及管理，提供统一、准确的数据服务。
应用web1
...
APP 1
xx数据中台
实时数据处理Flink SQL
WEB 应用访问入口，为企业应用提供统一出口，并负责应用的高可用、负载均衡、安全认证、静态资源路由等功能。
应用WEB服务器4台
离线数据处理Impala/Hive SQL
商品主题
接口服务
计算服务器5台
HTTPS证书配置
决策系统WEB服务器4台
xx后台
应用业务数据库
数据存储层，采用postgres数据库，同时支持关系型数据和jsonb数据存储，满足策略、规则等非结构化数据存储的需求。分布式架构部署满足数据高可用需求。
应用web2
鉴权认证服务
xx
xxx
静态资源文件
图片地址跨域配置
算法服务层，对数据中台的数据进行抽取、加工和处理，利用计算引擎构建数据指标集。通过特征工程和机器学习算法进行建模。
公共组件
数据接口层API / Impala
共享服务器
反向代理服务器
实时数据采集DCT / Kafka
postgresmaster
智能决策
算法服务
Kylin
pgpool中间件
离线数仓Hadoop / Hive
外部数据
数据应用层，基于智能决策层产生结果数据构建业务流程。支持数据应用定制化开发，满足业务灵活、快速、多变的需求。
智能决策层，将算法服务层提供的数据灌入规则模型。定义决策变量、决策条件、决策结果，并提供多样化的接口服务。
APP 2
业务数据
存储服务器3台
指标集
离线批量采集Sqoop / Flink / Python
门店主题
实时数仓Kudu
ETL服务
规则模型
主数据
postgresworkers
Clickhouse
0 条评论
回复 删除
下一页
