登录免费注册



数据中台数据流向图

首页  流程图  详情



数据中台数据流向图

2022-10-20 11:31:52   6  举报





ETL流程、数据采集、数据流向

ETL

数据采集

数据中台

数据开发

模版推荐

作者其他创作

大纲/内容

FlinkJoinJob

数据中转

executor

数据分发器

订阅

Kudu

业务系统、智能/工控设备、API

nginx2

离线计算hive/python

服务器N

任务XML

Driver 1

数据库

数据抽取(Extract)

数据集成开发系统

logstash N

配置

数据源

file

存储层

FlinkCDCJob

……

join

DTS系统

FlinkSQLJob

T+1宽表DWD/DWS数据备份

数据收集服务

rw

write

数据载入(Load)

加载调度

produce

HDFS

触发

kafka1zookeeper1

XML配置

接入加工

开发人员

服务器1

实时数据开发(Flink)

存储

智能搜索、数据开放服务

定时任务

Driver N

nginx1

媒体数据pullTask

nginxN

主XML

binlog

read

批量/增量读写

数据转换(Transform)

kafka

启动器模块Azkaban

业务数据Mysql

upsert t0

数据服务

可视化界面

文件

T+0报表T+0宽表基础数据

回写计算数据

离线数据开发(Azkaban)

slave

设计

upsert t1

异步触发

logstash1

Hive

同步触发

目标库

logstash2

kafkaNzookeeprN

consume

维表数据

FlinkBatch

智能搜索/数据开放服务

生成

upsert dim

 Collect

Get Started

管理后台数据

高级项目经理 —— 各个管理流程数据流向图

 Collect

Get Started

高级项目经理 —— 各个管理流程数据流向图

 Collect

Get Started

数据流向图

 Collect

Get Started

核心数据流向图













评论

0 条评论

下一页

Document