高频数据流向
2023-08-29 16:38:14 8 举报
登录查看完整内容
为你推荐
查看更多
高频数据流向
作者其他创作
大纲/内容
筛选指定事件数据
10.72.23.73-75:9092按需定制topic
过滤规则
主流程
mongo资源库
下游一
mongo缓存库
大小等于包含字段
kafka
trace-reciver
hsd+trace
新kafka备份
rtee-flink
过滤规则表
发凯亚
代理人多舱位管理监控
10.70.69.191-193:9092按需定制topic
单独程序处理一遍
改造方案：从缓存mongo拉取一批到临时mongo，然后规则用mongo的查询语句去筛选发送，处理完一批之后再继续从缓存库里拉下一批数据
trace
按订阅发送
下游三
hsd-sourceHSD_类型_XML_日期
TiDB-CDDT_ASLINKresource_data_trace3_日期只存半个月
国际截载通知
每一类事件封装数据
book事件解析给收益
hsd
数据转为对象格式
下游二
流程
hsd:cache_航司send_cache_航司trace：recive_cache_kafka_航司recive_cache_mysql_航司send_cache_航司
mysql
CDDT_ASLINKresource_data_trace3_日期保留一个月历史数据
source-sender
trace2MongoV2
mongo-trace库
航信kafka
简单逻辑
复杂逻辑
10.72.23.73-75:9092flink-aslink flink-foc
subscribe_kafka_cache
source-ada-sortout
source-from-ada-reciver
0 条评论
回复 删除
下一页
