分布式KV存储（特征服务）
2023-02-16 10:15:13 0 举报
自研分布式KV存储系统
作者其他创作
大纲/内容
rocksdb
存储节点注册中心
元数据服务
rank-server
5、特征消息写入量30万/s
CV集群 (128 db * 2副本)
JD集群（128DB* 2副本）
store-server
meta-server
relation * 3 集群64db*2、32db*2、2db*2
storm/spark
replica
1、最新：371亿特征数据量
分布式存储服务
RS一次请求 --> 服务端完成请求分发聚合结果一次返回
feature-consumer
消费特征数据
GRPC
特征加工&转换处理
特征生产
USER集群 (128db *2副本)
3、单库: 5000万/特征数据
TCC写入多副本
FS 分布式存储SDK
2、单机最大运行了：69 DB
HIVE
4、20台FS运行了487 Node * 2副本
Pulsar
分布式存储引擎层
5、读取吞吐量 8000万/s
0 条评论
回复 删除
下一页
