AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
数据平台
2019-12-18 21:22:44
15
举报
分享方式
使用 (￥5)
数据平台
数据平台架构
模版推荐
作者其他创作
大纲/内容
基础
实时计算
查询
DIM:维度表
sink
Presto引擎
hdfs
数据平台
ES
Spark引擎
HBASE
kafka
分析师或者运营日常查询分析
数据服务
数据挖掘
Redis
APP：应用层
计算资源：Spark，Hive，Flink
TMP：临时表
数据资产管理系统:元数据管理
离线计算
自动化报表工具或者脚本
业务数据挖掘
DWD：明细层
配置中心：1.自动化QC配置2.自动化ETL配置3.自动化数据清洗配置4.自动化集群监控配置
DWM：中间层
运营
实时
DWS：汇总层
数据治理
数据量小可选择关系型数据库
Flink流式处理
调度系统：定时任务配置
血缘系统
ETL：数据格式转换去掉乱码等异常数据
DB
利用redis做缓存
数据源1
基础数据挖掘
Flume
存储资源：HDFS
离线
广告投放
分析师
Hive引擎
DW：数仓层，提供公共主题域数据
汇总
ODS
数据源2
BI平台
查询中心
机器学习平台
数据源3
ETL
聚合
数据质量监控系统
DM：数据集市
收藏
立即使用
数据平台
收藏
立即使用
数据平台架构概览
收藏
立即使用
双亲委托模型
Leesin
职业：本科
去主页
Collect
Get Started
大数据平台总体架构
Collect
Get Started
数据智能分析平台技术路线
Collect
Get Started
研发数据资产管理平台-数据架构图
Collect
Get Started
数据资产管理平台总体架构图
评论
0
条评论
下一页
Document
