下载中心系统设计
2022-11-27 16:07:22 0 举报下载中心
作者其他创作
大纲/内容
开始导出
下载中心服务
检索
通知用户导出结果
POD
K8s
【低优化级队列】小数据量导出服务
生成一个导出任务
返回业务数据
获取业务数据
查询下载进度、下载导出的业务数据
更新任务状态和业务数据Url
【高优化级队列】小数据量任务比如，阈值为1百万
触发导出
根据导出的数据量，将任务Id分发到不同的消息队列
下载 中心
MQ
更新任务的导出状态及导出的数据
消费消息从任务中查到获取业务数据的途径
将业务数据写入本地一个Excel文件
用户
更新导出状态、成功导出时，更新存放导出数据的Oss Url
导出完成
生成导出任务新增时的导出状态为未开始
应用容器
【高优化级队列】大数据量导出服务
查看导出任务并执行下载
【代优化级队列】小数据量任务比如，阈值为1百万
数据服务
一条任务数据包含获取业务数据的路径、Oss的地址名、导出状态
同步
点击导出
【高优化级队列】大数据量任务比如，阈值为1百万
更新任务状态为进行中
发送MQ消息消息中包含任务ID
定时收集目录下的日志
日志平台
通知导出结果
将Excel文件上传到Oss，并获取Oss Url
打印日志
【低优化级队列】大数据量任务比如，阈值为1百万
指定目录比如：/opt/log
返回任务ID
日志收集容器比如：filebeat
根据任务ID得到查询业务数据所需的信息
一条导出任务数据
0 条评论
下一页
