登录免费注册



大数据平台数据血缘采集

首页  流程图  详情



大数据平台数据血缘采集

2023-01-19 22:14:25   0  举报





仅支持查看

数据平台数据血缘采集

数据血缘

lineage

模版推荐

作者其他创作

大纲/内容

Query Service

元数据管理

iMDM / Wechat / SAP / ...

Knowledge Management

测试文件查询 (Log/Image)

connectors

ICT / OpenTest

MQ

Job N

ODS

特殊的数据同步需再讨论...

IoT

SQL ServerOraclePostgreSQL

知识管理

埋点?

API

JDBC + Transform

Flink

数据地图

One Data

Samba

Kettle

SPI / AOI / X-Ray

DM

外部系统

...

自助分析

Greenplum

Debezium connector

 解析 Panel 用到的 SQL 

获取 UDF ，依赖 SQL Parser 进行语法解析生成表级血缘关系，附加表读写热度，PIC 等相关信息

通用模式的数据同步可从任务配置表中获取

MES / DAVI 等自研系统

Job 1

Job 2

DW

SMT / PCA 生产&测试日志

Kanban / Report

Connector 的血缘关系可通过解析 Kafka Connect Restful API 获得

Job 3

DCAgent

Kafka Connect

Tableau / PowerBI / Metabase

1. Flink 任务血缘元数据自动化采集2. 任务描述主动推送

MisTool / API

Kafka

非 connector 相关 Topic 元信息可通过 LogiKM 管理获得  

REST

PG BDC

 Collect

Get Started

数据中心大数据架构图

 Collect

Get Started

数据血缘

 Collect

Get Started

大数据采集平台

 Collect

Get Started

大数据平台总体架构













评论

0 条评论

下一页

Document