juicefs数据同步原理
2025-04-17 14:52:52 7 举报juicefs数据同步原理
作者其他创作
大纲/内容
分页获取第一层文件元
源端文件元Object
合理配置Threads协程数，提高消费者速度
源端文件元通道
否
同步文件元Object
多协程同步数据
结束
多协程迭代获取一层目录下的文件元
消费
是
目标端文件元Object
是否支持分片下载
开始
目标端文件元通道
生产
合理配置list-threads，提高并发list协程数，提高生产者速度
小文件复制，获取源端流文件，Put源端数据写入目标路径doCopySingle0
同步任务通道
大文件复制，多协程分片并发复制，分片源端到目标端直接复制CreateMultipartUpload
小文件复制，分段获取源端数据流，合并完整流文件，Put源端数据写入目标路径doCopySingle
过滤校验处理
是否大于10m和支持分片复制
文件元信息type Object interface {Key() stringSize() int64Mtime() time.TimeIsDir() boolIsSymlink() boolStorageClass() string}
收藏
0 条评论
下一页
