数据交换设计

APISIX

定时刷新

insert/update/delete数据

数据交换配置中心

......

外部API/数据源

数据交换中心

内部服务B

录入

创建/注销

SDK

平台服务：共享数据

外部 -> 内部（主动调用，增量/全量）

推送变化的数据

API模块

数据库

数据转换模块

主动查询数据

一、整体计划3.30、3.31完成关键技术预研4.1、4.2、4.6、4.7、4.8完成主流程开发，可根据人工生成的数据交换配置实现数据交换的功能（API/主数据）4.11～4.15完成通过界面进行数据交换配置的功能4.20前完成430节点所需的所有情况的数据交换配置录入及数据流转测试二、技术预研任务项数据库（MySQL、Oracle、SQL Server）    1、数据库动态连接    2、数据库信息读取（库、表、字段（字段名、类型、长度），用于界面配置转换任务）    3、根据配置生成select语句    4、数据解析    5、根据配置生成insert语句API    1、API请求    2、数据解析    3、根据配置生成insert语句    4、全量对比数据库相关技术可借鉴物联网平台已有的设计，需调研抽取以上的功能实现方法，编写各功能点的demo，确保整个数据读取、转换过程可分别跑通

外部服务

任务注册中心

内部服务A

内部服务

保存数据

外部 <- 内部（被动接收，增量）

MQ

待详细设计功能1、外部->内部，API模块-主动调用定时拉取待执行的配置、根据配置调用对应的API、根据配置进行数据解析转换、调用主数据SDK，（以及同步类型（增删改）的处理方式、失败后的重试机制）2、外部->内部，API模块-被动接收接口被调用后解析参数（需增加一个接口标识码）、根据标识码获取配置、根据配置进行数据解析转换、调用主数据SDK，（以及同步类型（增删改）的处理方式）3、内部->外部，API模块-被动接收接口被调用后解析参数（需增加一个接口标识码）、根据标识码获取配置、根据配置进行数据解析转换、根据配置调用对应的API，（以及同步类型（增删改）的处理方式）失败补偿机制，数据量太大（）

调用数据传输接口

数据库模块

服务A

数据交换任务

外部 -> 内部（被动接收，增量）

服务B

数据传输接口

外部->内部（主动调用） 关键点1、任务配置    1）任务分配与执行机制    2）失败重试机制2、API调用配置【API模块】    1）调用参数设置url、headers、params（固定参数、时间、动态参数）    2）同步类型配置（增量/全量）    3）多层级数据结构拆分（ERP、立库WMS存在数组，最多考虑一层嵌套，拆分后分两次调用【数据转换模块】）3、数据库查询配置【数据库模块】    1）select参数设置（数据源、库、表、查询条件字段、结果字段）    2）同步类型配置（增量/全量）    3）是否有指定删除字段（将转换为操作标识N/D）4、数据转换配置【数据转换模块】（API、数据库共用，仅接收单表数据）    1）根据映射配置对数据进行转换，调用主数据SDK进行数据的操作（每条数据都有操作标识字段，N-新增/更新，D-删除）    2）根据同步类型配置（增量/全量），调用不同的SDK（SDK内部处理）

数据

共享数据中心

API传输

内部->外部 关键点1、数据传输接口2、API调用配置【API模块】    1）调用参数设置url、headers、params（固定参数、时间、动态参数）    2）同步类型配置（增量/全量）3、数据库DML配置【数据库模块】    1）参数设置（数据源、库、表、查询条件字段、结果字段）    2）同步类型配置（增量/全量）

调用接口

数据库传输

主动调用获取数据