DataTransfer流程图
2016-04-18 18:34:53 1 举报
DataTransfer流程图是一种用于描述数据传输过程的图形化表示方法。它通常包括以下几个步骤:首先,数据源产生数据并将其存储在内存中;然后,数据传输器从内存中读取数据并将其转换为适合传输的格式;接下来,数据传输器将数据传输到目标设备;最后,目标设备接收并处理数据。在整个过程中,可能需要进行错误检测和纠正以确保数据的完整性和准确性。总之,DataTransfer流程图是一种简洁明了的方式来描述数据传输过程,有助于我们更好地理解和掌握数据传输的原理和方法。
作者其他创作
大纲/内容
开启多个线程执行写入操作
写入线程启动
N
启动libev线程
写入完成?
执行任务
Y
共使用8个Redis,根据key拆分
从旧库中获取数据
使用Redis保存临时值
等待任务完成
队列有中有数据?
将数据写入队列,并且更新最后写入的id到磁盘
任务线程退出
写入线程退出
队列使用mmap内存映射,重启不影响上次导入的进度
任务配置支持配置interval、单次读取数量和写入线程数
收到退出信号?
读取配置
转换数据,并生成新的数据对象
写入成功?
包括任务、数据源和DB配置
等待任务结束并设置新的定时器
主线程退出
任务线程启动
失败记录写入日志
新db和旧db均使用离线库,和服务处于同一网段内
主线程启动
非重要数据24小时有效
0 条评论
下一页