数据灯塔处理逻辑
2016-09-13 16:26:20 0 举报
数据灯塔是一个强大的数据分析工具,它通过收集、整理和分析大量数据,为企业提供有价值的洞察。首先,数据灯塔会从各种来源收集数据,包括内部数据库、外部数据源和实时数据流。然后,它会对数据进行清洗和预处理,以确保数据的质量和准确性。接下来,数据灯塔会使用先进的数据分析算法来挖掘数据中的潜在模式和趋势。最后,它会将分析结果以可视化的形式呈现给用户,帮助他们更好地理解数据并做出明智的决策。总之,数据灯塔是一个强大而灵活的数据分析工具,能够帮助企业充分利用他们的数据资产,实现更好的业务成果。
作者其他创作
大纲/内容
消息数 * (1次db查询+2次tair交互)
1次db批量插入
一次tair交互
一次db插入
事务性
metaQ
End
消息分流sendOrderMessage()
原子事件存储
工厂类获取处理器;防止跨库事务,按仓库id做聚合;orderExecProcessor.execute
onReceiveMessage
预计出库时间动态处理dynamicSaveScheduleOutTime()
幂等判断:数据库的乐观锁版本号更新来做幂等filterAferIdempotent()
两次db批量插入
精卫Client
数据加工
工厂模式获取具体的策略类执行
executionDispatcher.dispatch()
发送metaq消息给三个topic:wmp_whole_boardwmp_life_cyclewmp_order_execution
失败则10ms后重试
计算并持久化executeInternal()
参数非空校验validate()
订单执行情况处理流程
解析消息并构造事件对象列表,调用orderEventProcessor.execute进行订单事件具体处理
step1、补全:(预计出库时间、快递公司、菜鸟联盟时效、时效类型、订单品种、省份、更新时间)step2、公共信息存入tair(对创建状态的消息,key:common_info_${orderId})step3、处理来源状态(订单状态中关联“拣选开始/结束”的特殊处理)step4、行业和大区信息补全
删除丢弃的事件
获取分布式锁
orderEventProcessor.execute
orderExecProcessor.execute
消息数*db查询
(warehouseId+orderId+curStatus)做幂等判断
strategy.execute
client启动:JingweiClient4Execution#init()
自收自发:MessageListener .initMethod()wmpMetaQDispatcher.dispatch

收藏
0 条评论
下一页
为你推荐
查看更多