数据中台架构图_业务中台系统架构图_数据中台系统功能架构图_数据中台技术架构

时序挖掘

数字立方

Mysql 5.7

web爬虫

MongoDB  2.0

定位终端

JVM

PostgreSQLGreenplum

基础技术栈

运行框架

说实在的，互联网是制造新名词的地方，现在各种新名词层出不穷，顶层的有数字城市、智慧地球、智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱；技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等，总之是你方唱罢他登场，各种概念满天飞…新名词的推出，要被大众所能接受，在背后是要有话语权支撑的，而目的当然只有利益了，也不排除个别技术人员自己美好的想法和初衷。个人认为数据中台就是数据服务化，服务化的核心是数据模型化和服务组件化，服务化的基础是大数据平台。二、什么是数据仓库？数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策和全局信息共享。数据仓库的主题建模思想是：1. 面向主题：采用范式模型理论中的主题划分方法对业务数据进行分类。2. 一致性保证：采用维度模型理论中的总线结构思想，建立统一的一致性维度表和一致性事实表来保证一致性。3. 数据质量保证：无论范式建模还是维度建模都非常重视数据质量问题，综合使用两个理论中的方法保证数据质量。4. 效率保证：合理采取维度退化、变化维、增加冗余等方法，保证数据的计算和查询效率。三、什么是数据中台？数据中台是数据服务工厂。数据中台对于业务的价值是“加速从数据到价值的过程，提高企业的响应能力“。数据中台对是聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念。后文是对数据仓库、大数据平台、数据中台的一些总结性的架构材料，也是对自己这些年来的一些汇总和思考吧，看懂了前面的文字，后面的各种架构图也就无需赘述了。1、数据仓库硬件架构数据仓库包括了文件服务器、调度服务器、数据仓库服务器、数据集市服务器、邮件服务器、4A认证服务器、应用服务器、数据备库，后来发展到分布式调度、MPP，都是一点点演进出来的。2、数据仓库功能架构3、数据仓库技术架构4、第一个Hadoop平台硬件架构每天接入5T上网信令1、小机+数据库计算存储能力不足2、小机+数据库扩容成本太高3、单机文件采集吞吐量不足主要是为了解决海量离线数据的计算和存储，在Hadoop集群中实现明细数据、汇总数据存储，在mysql中实现报表数据存储。5、第一个流式处理平台硬件架构每天接入7T上网信令+5T位置信令对信令的实时采集对信令的实时计算对信令的实时事件捕捉主要是为了解决海量实时数据的流式采集和计算，在Hadoop集群中实现明细数据、汇总数据存储，在mysql中实现报表数据存储；并通过实时事件处理集群实现流式事件的匹配。

决策树

Datastage

联机分析服务（OLAP）

数据采集

0/1型文法

数据质量管理

Redis

索引引擎

链接管理

Talend

行列转换

统一门户

任务配置

异构融合

监控报警

SQL数据库

MOLAP

Java8

任务机器人

贝叶斯

WebSocket

任务管理&调度

NOSQL数据库

   用户层

HTTP协议 、 HTTPS、RESTful 、Web Service接口

可视化组件（VC）

数据库一主两从

分布式文件系统

模型预测

逻辑回归

私有云服务器

CDN

分布式任务

SmartBI

ROLAP

巡更棒

Nacos

自动推理

应用层

卷积神经网络

运行环境

SQL引擎

监控大屏

......

互联网云服务器

K临近

Sping Cloud

质量监控

手机APP 

Docker云平台

Gradle

事实预估

SpringCloud

对象管理

数据中台系统架构图

Kaggle

IOC应用

自动推理机

Rapid Miner

巡检终端  

GateWay

元数据管理

聚合分片

异常挖掘

应用管理

分布式数据缓存

Vue

HybirdDBMySql

智能分析

Index引擎

数据仓库DW

Qlikview

Rattle

Docker

清洗规则

Jenkins

数据挖掘（DM）

文本文件存储LOG/TXT/XML

数据抽取ELT/ETL

Datax

电脑PC 

图片、文件存储

Weka

移动APP

事实预估、模型预测

调度控制

支持向量机

终端设备

Hadoop大数据存储方案

clickhouse

多系统、异构数据融合展示

创新改进、仿真演示

MQ

Kettle

关联挖掘

FineReport

异常警报

数据层

数据应用

Git

表格文件存储XLS/CVS

大数据

开发框架

人工智能组件（AI）

IDEA

依赖生成

GIS、BIM

模式分类

MRDB

MQTT

Sping Boot

频次挖掘

公有云

Hadoop 2.x

Power BI

机器学习算法（ML）

API接入

Hadoop+Hive

数据源ODS——SAAS、LOCAL、OUTER

工作流引擎

Redis 6.25

问题发掘、原因分析解决方案

生态应用

上卷下钻