枢纽项目

多线程调用决策引擎流

异步批写文件

SparkToKafka

二级缓存

本地缓存

对外服务层

kafka监听器

消息负载均衡分发

数据源层

数仓文件

决策引擎跑批层

决策引擎结果进行营销内容加工、内容脱敏

Spark跑批读取主ES表

查询命中的营销模型

kafka72个分区数

redis缓存

查询匹配的客户清单

持久化层

kafka消息

datax入仓

模型结果表以nested结构存储

通过此消息去另外3个ES表批量查询组装、清洗、过滤成完整客户信息

对外暴露ESB接口

java内存队列

数仓

bulk异步落ES

ES集群