大数据实时离线数据流程
2022-03-18 17:46:37 76 举报登录查看完整内容
大数据实时离线数据流程
作者其他创作
大纲/内容
T0报表T0宽表基础数据
媒体数据pullTask
file
订阅
业务数据Mysql
接入加工
OLAP分析Impala/spark/mr
consume
SqoopBatch
upsert dim
join
数据应用
FlinkSQLJob
数据服务
salve
报表展示/面板展示/数据API/AI分析
存储
upsert t0
rw
FLinkJoinJob
实时数据开发(Oceanus)
离线数据开发(Azkaban)
Hbase
binlog
read
Kudu
回写计算数据
produce
upsert t1
源数据
T1宽表DWD/DWS数据备份
kafka
write
离线计算hive/spark/impala
cos&Hdfs
批量/增量读写
维表数据
FlinkCDCJob
收藏
收藏
0 条评论
回复 删除
下一页
