数据湖平台系统功能架构图_数据湖技术功能架构图_数据湖系统架构图

图片库

私有云服务器

指标服务

数据库一主两从

渠道系统

数据模型管理

应用集市区

数据资产价值变现

非结构化数据转化

共享服务管理

临时库

Mysql 5.7

数据运营中心

关系数据库

运营考核评价

影像识别

离线数据处理

数据挖掘

接口共享服务

数据统一门户

运营可视化

标准规范体系

文件共享服务

数据治理中心

MongoDB  2.0

库表共享服务

管理驾驶舱

物联网数据

存储计算平台

数据产品服务

用户画像

数据生命周期管理

业务赋能

数据源

指标库

文本识别

同一用户/权限

财务系统

产能预测

当票人

ODS库

实时数据同步

语音识别

汇聚区

数据统一调度

互联网数据

风险审计

数据产品管理

数据标准管理

AI中心

基础区

分析区

数据检索服务

业务系统

内存数据库

平台管理

注册

实时分析

经营分析

主数据

共享审计

实时指标计算

共享服务保障

运行环境

数据运营维护

数据沙箱服务

营销管理

语义解析

机器分析

多维分析

应用集成

QA

运维保障体系

保障体系

租户管理

主数据管理

用户管理

实时数据存储

统计分析

三方QMS

爬虫

HR系统

数据分析平台

Hadoop 2.x

数据处理平台

互联网云服务器

外部数据

ERP

客户营销

数据资产价值评估

用户分析

即席分析

MPP

财务分析

数据层

图像识别

数据质量管理

数据汇聚平台

数据需求管理

分布式文件系统

标签服务

共享服务引擎

实时分析处理

对象库

数据资产营销推广

Redis 6.25

JVM

Docker云平台

共享检测

知识图谱服务

实时数据处理

什么是数据湖？数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析 – 从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。AWS  Lake House为什么需要数据湖？通过数据成功创造商业价值的组织将胜过同行。Aberdeen 的一项调查表明，实施数据湖的组织比同类公司在有机收入增长方面高出 9%。这些领导者能够进行新类型的分析，例如通过日志文件、来自点击流的数据、社交媒体以及存储在数据湖中的互联网连接设备等新来源的机器学习。这有助于他们通过吸引和留住客户、提高生产力、主动维护设备以及做出明智的决策来更快地识别和应对业务增长机会。数据湖与数据仓库相比 – 两种不同的方法根据要求，典型的组织将需要数据仓库和数据湖，因为它们可满足不同的需求和使用案例。数据仓库是一个优化的数据库，用于分析来自事务系统和业务线应用程序的关系数据。事先定义数据结构和 Schema 以优化快速 SQL 查询，其中结果通常用于操作报告和分析。数据经过了清理、丰富和转换，因此可以充当用户可信任的“单一信息源”。数据湖有所不同，因为它存储来自业务线应用程序的关系数据，以及来自移动应用程序、IoT 设备和社交媒体的非关系数据。捕获数据时，未定义数据结构或 Schema。这意味着您可以存储所有数据，而不需要精心设计也无需知道将来您可能需要哪些问题的答案。您可以对数据使用不同类型的分析（如 SQL 查询、大数据分析、全文搜索、实时分析和机器学习）来获得见解。随着使用数据仓库的组织看到数据湖的优势，他们正在改进其仓库以包括数据湖，并启用各种查询功能、数据科学使用案例和用于发现新信息模型的高级功能。Gartner 将此演变称为“分析型数据管理解决方案”或“DMSA”。特性数据仓库数据湖数据来自事务系统、运营数据库和业务线应用程序的关系数据来自 IoT 设备、网站、移动应用程序、社交媒体和企业应用程序的非关系和关系数据Schema设计在数据仓库实施之前（写入型 Schema）写入在分析时（读取型 Schema）性价比更快查询结果会带来较高存储成本更快查询结果只需较低存储成本数据质量可作为重要事实依据的高度监管数据任何可以或无法进行监管的数据（例如原始数据）用户业务分析师数据科学家、数据开发人员和业务分析师（使用监管数据）分析批处理报告、BI 和可视化机器学习、预测分析、数据发现和分析数据湖和分析解决方案的基本要素组织构建数据湖和分析平台时，他们需要考虑许多关键功能，包括：数据移动数据湖允许您导入任何数量的实时获得的数据。您可以从多个来源收集数据，并以其原始形式将其移入到数据湖中。此过程允许您扩展到任何规模的数据，同时节省定义数据结构、Schema 和转换的时间。安全地存储和编目数据数据湖允许您存储关系数据（例如，来自业务线应用程序的运营数据库和数据）和非关系数据（例如，来自移动应用程序、IoT 设备和社交媒体的运营数据库和数据）。它们还使您能够通过对数据进行爬网、编目和建立索引来了解湖中的数据。最后，必须保护数据以确保您的数据资产受到保护。分析数据湖允许组织中的各种角色（如数据科学家、数据开发人员和业务分析师）通过各自选择的分析工具和框架来访问数据。这包括 Apache Hadoop、Presto 和 Apache Spark 等开源框架，以及数据仓库和商业智能供应商提供的商业产品。数据湖允许您运行分析，而无需将数据移至单独的分析系统。机器学习数据湖将允许组织生成不同类型的见解，包括报告历史数据以及进行机器学习（构建模型以预测可能的结果

可信计算服务

主题区

Hadoop

离线数据同步

数据资源目录管理

财务

数据共享交换

数据共享开放平台

资金管理

发布

分布式数据缓存

元数据管理

数据资源中心

多方安全计算服务

数据安全管理

数据服务中心

标签库

绩效考核

图片、文件存储

认证

权鉴

安全保障体系

订阅

时序库

数据目录

......

监管报送