货源单数据入es及其他
2021-07-29 18:42:03 6 举报
货源单数据入es及其他
作者其他创作
大纲/内容
有
入库DB
查询
成功
APP/web
单线程消费mq重新处理失败消息入es
删除
查db
删除db
lgs-biz-service
查询货源信息
结束
失败
重新放入es
1:内存监控-处理效率监控导出过程中需要写程序不断监控内存变化，如果内存再用过高，需要暂停程序，稍后再运行，同事监控数据消费速率 及 数据是否全部导入es2:线程需要支持手工启停
删除es删除失败是否打标记？
数据迁移
无
xxl_job
多线程批量到处数据1：一部分线程负责导出数据到队列里面2：一部分线程负责消费
db货源单运单历史数据
查es
入es需要捕捉异常信息，不影响主流程
创建货源
rpc
记录失败数据入mq
新增
收藏
收藏
0 条评论
回复 删除
下一页
