

首页  思维导图  详情



数据治理

2022-01-05 14:45:13   1  举报





AI智能生成

数据治理平台

数据架构图

数据分析图

总结汇报

阶梯图

架构

模版推荐

作者其他创作

大纲/内容

大数据基础软件

数据中间件

实现不同操作系统、网络协议、数据类型之间的数据交换

从文件、SQL、日志、消息到爬虫和流数据以及异构数据的支持

集成压缩算法，和数据同步分发技术，实现了数据的导入和减少调动的同时实现

Hadoop 定制开发

优化全文搜索引擎的性能，可实现百亿级数据的毫秒级查询

集成NOSQL 数据库，简化文件系统与非关系数据库之间的编程

HADOOP 数据处理

开源环境 100%兼容，全程可视化安装

基础数据管理

数据清洗

前端数据清洗处理

数据过滤、数据剔 重、类型转换、编码映射、文件拆分与合并、维度转换等功能

不一致数据转换

数据转换

数据整合的过程，侧重于将来源于不同业务系统的相 同类型的数据进行统一处理

数据粒度的转换

需要对数据进行统一归整；转换规则计算按照设计的计算归则对数据进行重新计算

数据去脏

系统支持批量清洗和实时清洗，针对批量离线数据进行分布式并行清洗转换

转换规则

根据清洗后的数据，重新设立数据标准值

ETL 工具数据整理

异构数据

清洗、转换、标准统一

对存在质量问题的 数据

过滤、分组、查找、连接、去重、合并、 排序、转换、联合等

图形化界面配置灵活的数据处理

字段合并、字段计算、格式校验、格式转换、度量衡转换、编码转换和关联汇总等

数据整合

原始数据资源通过数据接入/清洗阶段对数据完成初步处理形成原始数据 库，以原始数据库为基础，配合需求方开展数据规划、组织等建设工作

按照不同 维度进行数据萃取和数据特征工程计算，结合业务主题形成主题库

通过对比、 筛选和分类等业务分析，形成业务专题库

原始数据库、主题库和业务专题库共 同构成数据仓库。

数据监管和发布

数据资源中心

处理基础数据、主题数据、部门数据、采集数据以及大数 据分析的过程数据和结果数据

信息安全的统一数据发布、浏览和管理平台

规范信息模型，解决数据不规范、编 码不一致

为决策提供数据储备，提供信息查询、信息输出的统一接口

提供数据质量监控发布和数据溯源分析

数据标准

对同一类数据进行统一编码， 对文档、图片等非关系型数据应该建立元数据标准，建立元数据库。

数据标准规范体系是由一定范围内的具有内在联系的标准组成的科学的有 机整体，它包括本项目中所需要用到的各种通用规范、系统应用规范和管理规范， 涵盖的领域包括各类命名规范、开发规范及各种接口定义规范等

整个标准规范体系在总集成单位组织和协调下，项目各参与单位通过深入 了解相关技术，咨询相关专家和专业机构，依据行业现有的标准，参考国家和行 业相关标准规范，逐步落实、编写和发布

数据接口标准体系建设

通过合理的规划建立接口标准的标准，通过对各类数据传输场景进行详尽定义，然后再进一步完成该场景下具体传输数据接口标准内容，通过多维度标准定义，最大化降低各接口之间的交互影响，当传输数据发生改变时，只需要增加或减少相应数据描述项即可，同时关联数据标准体系，自动扩充相应数据项和数据标准项，而不需要重新定义接口标准，即可快速适应新应用的扩充。

数据处理

数据集成系统采用多线程、分布式、负载均衡、集中管理等高性能高可靠性与易管理和扩展的多层体系架构， 可以将不同业务系统中分散、零乱、标准不统一的各种源数据进行汇聚， 经过抽取、清洗、标准化及类型转换后，加载到大数据集群中做统一的存储和管理。

支持从 DBMS、互联网、物联网、生产系统等 各种数据源中提取数据导入到大数据开发平台。

源数据系统采集、汇总业务数据、运营数据和互联网数据。所采集的数据 类型分为三类，结构化数据、半结构化数据和非结构化数据。

数据集成系统可划分为传统 ETL和云化 ETL 两部分。所有数据均可通过 ETL 平台处理后加载到大数据平台中。

数据目录

查询和管理

包括目录分类、目录查询、目录收藏、目录创 建、目录审批、目录发布等操作

展示技术数据目录

展示数仓中库表级别的数据资源目录，涵盖贴源层、 基础层、规范层、应用层等各层数据库和表结构，以及各层数据表的关联关系等， 包括结构化的数据存储和非结构化的数据存储，可对目录进行添加、取消关联关 系等操作，结构化案件数据和非结构化的文书数据在规范层即开始建立关联关系， 至应用层可完全融合展示；

展示业务数据目录

展示各类案件信息业务数据和文书解析结果数据，涵 盖民事案件信息及文书解析数据、刑事案件信息及文书解析数据、行政案件信息 及文书解析数据以及执行案件信息及文书解析数据，点击可查看数据字段说明， 可对目录进行导出、下载和删除等操作