数据中台/数据仓库/daas架构

数据采集

HDFS、HBase、ElasticSearch

数据抽取（LogStash、Flume）

ADS（应用层）

轨迹分析

DWS(公共层)

标签系统

Hive

DIM维表层

生命周期

存储管理

MRSparkFlink

数据计算

任务调度azkaban资源调度YARNSparkFlink节点协同zookeeper高可用

用户画像

权限管理

户籍数据

SparkFlinkStorm

质量监控

数据工具

数据处理

数据结构分层（数据建模）

案件数据

血缘管理

出行数据

Kafka

MySQL、Redis、HBase

数据挖掘

数据服务、数据产品

数据服务

元数据管理（atalas）

数据脱敏

ODS（操作层）

自助查询

MySQL、Oracle、Log

     

DWD（明细层）