登录免费注册

首页  流程图  详情



 



数据同步流程

数据同步流程

2018-08-16 15:27:06   0  举报





八爪鱼采集数据同步到数据库/索引库流程

数据流程图

数据同步流程

模板推荐

作者其他创作

大纲/内容

判断上次是否有未删除数据

判断写入数据库/检索库是否成功

校验失败

获取成功

是否发布成功

有

是否删除成功

写入失败

清洗异常

删除成功

校验成功

否

同步完成

写入成功

开始调度

清洗无异常

获取八爪鱼数据

是否是新闻数据

记录写入成功条数及本次同步时间

发布清洗成功的数据

结束调度

判断是否写入检索库

无

全量同步

判断同步类型

删除失败

根据清洗规则将导入的数据状态更新为无需清洗、清洗成功、清洗失败三种状态

分页请求八爪鱼全部数据

删除整个任务数据（包括之前批次导入成功的数据）

是

遍历需要同步的八爪鱼任务集合

是否继续同步

分批次写入检索库

加入队列

校验需要同步的八爪鱼任务字段映射

获取失败

发布成功

记录本次未删除成功的数据条件

按时间切分，按照小时间粒度请求八爪鱼数据

写入数据库

数据清洗

继续同步下一任务

抛出异常，中止运行

清洗过程是否有异常

发布失败

删除操作

增量同步

 Collect

Get Started

nmq数据同步

 Collect

Get Started

音视频同步流程

【2026最新】工业物联网-时钟同步

 Collect

Get Started

【2026最新】工业物联网-时钟同步

 Collect

Get Started

同步课程













评论

0 条评论

下一页

Document