数据中台整体设计
2023-05-17 10:52:37 3 举报
登录查看完整内容
数据中台整体规划设计
作者其他创作
大纲/内容
监控告警
数仓模型设计/管理
资产目录
定义数据集市中的安全控制策略，包括用户权限、角色管理和数据访问控制等，以确保数据的安全性和隐私性
业务中台
业务数据源
中台 API 目录以及目录下 API 的查看，可对 API 进行申请
各部门集成数据
数据服务
接口管理
智能预警
维表管理
定义数据集市中的数据结构、关系和约束，以确保数据的一致性和准确性
元数据/模型管理
分层设置
执行脚本管理
模型设计
权限
资源中心
数span style=\
数据库管理
离线、实时计算
服务推送
上游约定create_time & update_time，逻辑删除标记；下游约定更新时即时提醒
表结构变更
文件管理
数据集市
血缘关系
数据可视化
自动监控上游表结构的变更，变化后，自动去修改数仓中的表结构，自动修改同步任务（由数据集成模块进行定时监控）
日志数据
生命周期
1. 调度管理 — 对生产作业进行流程编辑，可视化调度2. 调度记录 — 查看调度结果，日志等
调度中心
数据集成
资产总览
安全控制策略
中台资产目录以及目录下数据查看
枚举值
数据源
数据开发
...
其他数据
数据治理
1. 数据划分及命名空间约定:表的命名就涉及到数据域的划分，因为表的命名需要将数据域囊括进去2. 常规表/中间表 的命名3. 统一指标和字段命名4.核心模型与扩展模型分离5. 层次调用约定
数仓span style=\
1.Flink 集群实例 — 管理 FLink 资源2. Hadoop 集群配置 — 管理 Hadoop 资源
上下游约定
画像系统
数据中台
数据应用
数据标准
API管理
抽取脚本管理/ETL设计器/datax
主数据
数据质量
管理员对资源申请做出审批
审计
元数据
0 条评论
回复 删除
下一页
