中合金网_同步商品数据到es
2022-05-16 09:22:21 0 举报
登录查看完整内容
同步商品数据到es
作者其他创作
大纲/内容
把昨天的索引别名删除
捞取数据库中最新的商品数据
先根据别名捞到最新的索引名称，在进行写入操作
concumer
捞取补偿表数据(status=0)
消息处理记录到表
根据原始索引setting/mapping 创建（新索引有别名）
timer
根据商品id，反查MySQL，组装es数据
失败
分类
成功
全量更新（每天执行一次）
saveOrUpdate入补偿表（status=0）
保证原始索引没有数据
删除该索引下的所有数据
删除补偿表该数据
组装更新es 分类的数据
是否成功
根据消息类型分别处理商品和分类消息
删除前天的索引
重发kafka消息
更新es数据
按日期创建新索引
根据mysql的数据批量插入到es 新索引中
入补偿表（status=2）
手动处理后，status=0
商品
补偿表补偿（每分钟执行一次）
组装更新es商品的数据
kafka消息
消费消息
0 条评论
回复 删除
下一页
