副本-流水疑重流程设计
2025-12-01 15:53:25 0 举报通过布隆过滤器进行疑重处理
作者其他创作
大纲/内容
否
根据八要素或者unique_no去重
疑重确认
开始
是否存在重复
结束
更新流水数据
是否开启疑重
1.更新为【未验重】
是
插入流水
根据疑重标识查布隆过滤器（四要素）
创建布隆过滤器
1.更新为【确认未重复】
疑重验重确认流程
添加到布隆过滤器
根据疑重规则疑重判断
计算映射值
组装疑重标识
布隆过滤器初始化
是否有布隆过滤器
使用内容标识去重
流水拉取
流水拉取疑重流程
设置映射值到布隆过滤器
查询设定范围的流水
更新流水表
是否设置疑重规则
拼装正常流水
是否包含key值
拼装疑重流水
疑重规则设置（其他要素）
更新疑重流水
1.更新为【正常】
去重流水
计算内容标识计算八要素标识
流水布隆过滤器流程
查询疑重【未验重】流水
是否确认重复
批量保存
转为单条循环
收藏
收藏
0 条评论
下一页
