首页  思维导图  详情



 



Embedding

2020-08-11 14:42:55   1  举报





概括了在embedding技术在推荐系统中应用

embedding

推荐系统

模板推荐

作者其他创作

大纲/内容

什么是embedding

embedding是客观事物到某向量空间的映射，不同emdedding向量间的距离保存了客观事物间的关系信息

embedding应用

相似物品推荐

Airbnb论文，短期兴趣房源，长期兴趣房源，采样策略和调整的word2vec的目标函数

召回

最近邻搜索，局部敏感哈希分桶，解决多路召回每一路的数量大小，合并时权重不一致问题，如果embedding时包含了多路召回的信息，其实可以用embedding的相似分数来召回

作为模型的输入向量

Word2Vec

Item2Vec

摈弃时间窗口，序列内两两物品都相关，优化目标函数不同

广义Item2Vec：不管结构如何，能把原始特征向量转化为稠密embedding的模型。如：双塔模型

Graph

图

互联网的数据更多的以图的数据存在

社交网络

知识图谱

行为关系

训练embedding两种方式

降维：图->序列

直接在图数据训练

DeepWalk

少量样本通过图随机生成更多的样本，是一种样本采样扩展方式，和Word2Vec兼容

Node2Vec

同质性

深度优先游走（Depth-first Sampling，DFS），节点在同一个集团中，反映的是相似性，同品类、同属性、经常一起购买的商品

结构性

广度优先游走（Breadth-first Sampling，BFS），集团的中心节点和另一个集团中心节点，集团边缘节点和另一个集团边缘节点结构相似，各类的爆款、各类最佳凑单商品

EGES

https://zhuanlan.zhihu.com/p/69069878

https://zhuanlan.zhihu.com/p/110442164

GNN-Graph Neural Network图神经网络

GraphSAGE-Graph Sample and Aggregate

1、基于图的抽样，抽样子图信息，以及一阶二阶邻节点

2、聚合邻节点，二阶邻节点聚合成一阶邻节点，一阶邻居节点聚合成目标节点

3、除了无监督学习还可以有监督学习，之前的只能无监督，可以预测分类

应用过程

1、原始数据的二部图 2、生成item有权重的关系图 3、采样生成子图 4、送入图神经网络训练

GNN结构

1、二阶邻节点的初始embedding或者上一轮结果，卷积后得到一阶邻节点，一阶卷积后生成目标节点，通过目标节点和lable就可以进行训练

2、卷积操作：一部分聚合操作，将上一阶节点通过各种方式聚合，和上一轮的结果拼接，输入一个全连接或者其他结构，输出目标节点新一轮的结果

有监督学习和无监督学习

PinSAGE-Pinterest GraphSAGE

GraphSAGE的落地实践

自由主题

 Collect

Get Started

Reasoning_Embedding

 Collect

Get Started

ClassicRAG泳道图

 Collect

Get Started

FDE 前沿部署工程师｜大模型私有化落地方向

 Collect

Get Started

embedding





0 条评论

下一页