数据ETL
Streamcomputer
实时监控
数据网关
消息总线
获取结果
MQ/HBASE
模型训练
sdk数据采集
DATAX同步工具定期将RDS数据同步到odps
模型部署
共用整合层(维度建模数据、基础指标数据)
逻辑分离、自有加工
数据仓库datamodel设计
授权数据
脏数据清洗/结构化解析微服务实现(开源框架SparkStream/Flink做数据的ETL)
实时
流计算平台数据实时处理场景：
api接口调用
SparkStreaming
数据清洗整合
RDS
离线
数据报表
数据集市层
非授权数据(第三方征信数据)
决策引擎
实时场景
DATAX工具将odps数据转存关系型数据库
消息队列(RoketMQ)
主动拉取
数据存储与分析
实时流计算平台
将MQ中的数据Sink到RDS中
DB业务库
维度建模
1.datahub的topic中永远都有数据，实时场景
将MQ中的清洗后的数据Sink到HDFS中
ODS主题模型层(近贴源)
数据采集
数据传输
数据存储
DATAHUB
离线场景
Authdata微服务鉴权商户，挡掉非法请求
DTS
实时处理的中间数据及标签类数据通过DATAX定期转存到odps中
将MQ中的清洗后的数据Sink到实时数据库HBASE
实时指标库
消息队列(KAFKA)
数据同步数据仓库
2.datahub中topic的数据因源头数据超过datahub生命周期仍没有新的数据插入(因datahub的数据超过生命过期，会导致datahub的offset和blink state中的offset是不一致的，会报错)，且统计类的需求，如:count/sum/avg/min/max等指标类统计的需求，只需要修改#rocksdb的数据生命周期参数配置，单位毫秒(#state.backend.rocksdb.ttl.ms=129600000)
用户画像
数据共享
数据应用
MYSQL/HBASE
DW主题模型层(三范式)
阿里云流计算平台
孚临流计算平台
