AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
数仓项目数据流程
2022-04-24 12:20:23
0
举报
分享方式
使用 (￥3)
标准的企业级数仓流程图
系统架构设计图
模版推荐
作者其他创作
大纲/内容
数仓中的每层内和层间的转换都是通过SparkSql实现的
Mysql
磁盘文件
Kylin速度快，可直接对接可视化系统
ads层：指标层
Kylin1.预计算，多维度统计分析2.只要指定了角度不管后续角度如何变化Kylin都能快速返回。3.Kylin比Spark Sql快
日志数据
Flume
将从Mysql采集的数据直接输出的HIve
数据的导出工具可以使用：sqoop，kettle，Datax
Spark RDD编程进行数据清洗和ETL，最终导入Hive的ODS层
可视化系统
kettle
Mysql业务数据
ods层：数据贴源层
业务系统产生的数据
HDFS
dw层数据仓库层，进一步ETL方便最后指标统计
收藏
立即使用
数仓项目数据流程
Ewan
职业：暂无
去主页
Collect
Get Started
2026最新数仓系统架构图
Collect
Get Started
数据-年金管理系统数据流程
Collect
Get Started
数仓数据流向图
Collect
Get Started
数仓各主题数据流向图
评论
0
条评论
下一页
Document
