机器学习平台架构图
2025-08-08 15:55:43 2 举报1
作者其他创作
大纲/内容
业务维度
模型训练实验
配置方式
schema_conf.json（对齐样本）
样本
特征引擎lib化
在线推理
req
paruqet/iceberg
业务_3kv表
离线：训练
item_id_1
业务topic2
item
在线原始特征生产
样本schemaConf
序列特征
业务topic1
item_id_2
...
T-2
kv存储
在线特征
feature_key
离线：样本
平台侧
item侧特征
业务_1kv表
proto_bytes
join reqfeture + join itemfeature
在线：推理引擎
1
n
feature kv
业务全量特征metaInfo
统计类特征
推荐引擎
推理引擎
req/item featrue dump（proto序列化+压缩）
name
特征名
type
req/note
data_type
int/float/repeated_int...
dsl
tag
特征标签
在线：特征引擎
feature解析展开
value
样本作业
feature select+labeldsl计算
在线服务
dump feaure
携带req侧特征请求预估打分
label解析+过滤+采样+生成feature key
session label/adlabel
jobconfig
serialization type
prefix
labelsDsl
from SL
自定义：label、feature组合
reqfeatures
isList
default_value
notefeatures
同reqfea
densefeatures
注册
模型仓库
前端打点日志
metaInfo
业务_2kv表
样本任务
schema_conf.json
request侧特征
req_id_2+item_id_2
业务场景
平台特征列表
req侧特征
上线
创建/运行
模型名
schema_conf.json（对齐训练）
模型训练
kafka label data
发布
req_id_1+item_id_1
label生产
oss
训练
特征引擎在线服务
join
正排/倒排
label归因&分发
0 条评论
下一页
