登录免费注册



数据平台分层架构V1.0

首页  流程图  详情



数据平台分层架构V1.0

2022-08-07 22:03:18   0  举报





数据平台分层架构V1.0，待升级

数据平台

大数据

大数据架构

大数据架构设计

架构设计

模版推荐

作者其他创作

大纲/内容

计算任务

模板格式定义

任务调度Azkaban

消息队列

质量监控配置

多模式告警

监控报告

实时清洗

SQL执行器

数据源配置管理

数据处理

质量数据采集

ES代理

数据质量配置

模板文件解析器

内置检查逻辑

元数据管理平台

任务调度工具

质量监控

数据分析

数据质量报告

任务调度平台

告警接口

聚合查询处理

数据API服务

元数据交换接口

数据建模

数据脱敏

计算逻辑装配

Azkaban接口代理

血缘关系管理

报表展示

中间件层

元数据集成接口

映射关系构建

算法库

变更日志

数据质量分析

微服务治理

聚合数据查询控制器

宽表连接

实时数据入库

任务调度配置

DataX配置

安全服务

数据计算任务构建工具

维度表建模

安全检查

Flink

任务配置管理

ClickHouseSDK

数据集成与交换

数据分析平台

建表脚本构建

加密设置

事实表建模

建模脚本构建

血缘关系记录

搜索服务

质量任务告警

权限控制器

QPS控制

慢查询记录

任务调度管理

数据同步自动构建工具

TensorFlow

数据治理平台

Hadoop

告警服务

搜索工具

调度告警

计算任务配置

应用层

脱敏设置

数据加密

质量监控引擎

PostgreSQL

权限过滤

搜索API

即席查询控制器

数据开发平台

报表配置

数据分析查询API

更新策略管理

Zookeeper

Azkaban数据格式解析

更新逻辑实现

DWD/DIM建模抽取工具

同步任务配置

抽取任务配置

日志审计

搜索引擎ES

图数据库

实时数据拉取

质量规则管理

数据开发

简单查询处理

数据基础服务

数据基础服务工具

服务层

元数据CRUD

聚合计算

数据集成平台

调度历史跟踪

实现逻辑层

质量监控服务

即席查询通用API

调度链管理

Spark

元数据分类信息

轻度聚合查询API

用户权限控制

离线数据抽取

批量清洗

抽取脚本构建

ClickHouse

批量存储

任务执行历史

质量监控工具

DataX二次开发

告警规则管理

数据资产地图

安全工具

 Collect

Get Started

推送服务分析与设计 v1.0

 Collect

Get Started

图片幻灯v1.0

Arquitectura: RESTful Services v1.0

 Collect

Get Started

Arquitectura: RESTful Services v1.0

 Collect

Get Started

新流程乘客发布路线V1.0













评论

0 条评论

下一页

Document