推荐系统数据处理流程
2020-12-18 18:42:48 0 举报
登录查看完整内容
推荐系统数据处理流程
作者其他创作
大纲/内容
服务端
dist[itemId]
排序模型 LRRankModelsigmoid func: 1.0 / (1.0 + exp(-(sigm(wx)+b)))
item_data
CF_iicf.result
用户行为偏好
数据拟合
CF基于userId_itemId分类聚合
粗排数据
1、店铺2、店铺动态3、用户动态
HOT热点数据
用户请求
模型训练测试构造稀疏矩阵均方误差(MSE)预估(precision）损失函数
推荐引擎pyweb
用户特征数据user_feature
Redis dist
模型斜率model.w
Spark
检索Redis候选集数据召回
推荐数据结果
MapReduce基于余弦相似度Hive
训练数据
action_data
数据过滤
CB_ii基于内容
第三轮map: 归并itenId1_itemId2 score
特征数据feature
数据埋点日志采集 logserver+flume
hbaseHDFS
排序模型数据sample.data(svm)
内容特征数据item_fature
CB_iicb.result
user_data
CB基于itemId去重
CF_ii协同过滤
dist[userId]
Storm
Rediscb_result.rediscf_result.redis
按分值排序
模型截距model.b
0 条评论
回复 删除
下一页
