数据平台
2019-12-18 21:22:44 15 举报数据平台
作者其他创作
大纲/内容
基础
实时计算
查询
DIM:维度表
sink
Presto引擎
hdfs
数据平台
ES
Spark引擎
HBASE
kafka
分析师或者运营日常查询分析
数据服务
数据挖掘
Redis
APP：应用层
计算资源：Spark，Hive，Flink
TMP：临时表
数据资产管理系统:元数据管理
离线计算
自动化报表工具或者脚本
业务数据挖掘
DWD：明细层
配置中心：1.自动化QC配置2.自动化ETL配置3.自动化数据清洗配置4.自动化集群监控配置
DWM：中间层
运营
实时
DWS：汇总层
数据治理
数据量小可选择关系型数据库
Flink流式处理
调度系统：定时任务配置
血缘系统
ETL：数据格式转换去掉乱码等异常数据
DB
利用redis做缓存
数据源1
基础数据挖掘
Flume
存储资源：HDFS
离线
广告投放
分析师
Hive引擎
DW：数仓层，提供公共主题域数据
汇总
ODS
数据源2
BI平台
查询中心
机器学习平台
数据源3
ETL
聚合
数据质量监控系统
DM：数据集市
0 条评论
下一页
