数仓处理流程图

DStream

    消息1Object[分区号，偏移量，消息JavaBean，消息Topic-group]

消息3（最新消息）

Mysql数据

人员编码A

...

接种剂次/人数指标

3.过滤

Doris数据

消息3...

4.转化

保存

List<消息1，消息3>

V

List<消息4>

5.转化KV

清洗后:原始表数据集

主键：人员编码A

            消息1Object[分区号，偏移量，消息JavaBean，消息Topic-group]

消息2...

List<V>

K

流水异常内存库

Doris流水表

清洗后:流水表数据集

人员编码B

消息2（去除）...

最新

查询

            消息1{\"database\": \"test\

2.调用

6.分组

存

7.转化

9.循环

消息4...

维度表指标

档案数指标

数据清洗

1.转化

同步异常内存库

8.转化

指标抽象工厂

Doris原始表