传统推荐模型
矩阵分解
优点：<br>1.泛化能力<br>2. 空间复杂度低<br>3. 更好的扩展性和灵活性<br>
缺点：<br>不方便加入其他特征
LR
训练方法：梯度下降法<br>
优势： <br>能够融合多种类型的不同特征<br>1. 数字含义上的支撑 CTR预估<br>2. 可解释性<br>3. 工程化需要 模型简单，训练开销小，<font color="#c41230">并行化</font><br>
缺点：<br>1. 表达能力不强，不支持特征交叉<br>
FM【隐向量特征交叉】
辛普森悖论
在分组比较中占优势的一方，在总评中有时反而是失势的一方
权重参数：nk n>>k k隐向量维度
复杂度：nk
训练方法：
优点：隐向量特征交叉
缺点：记忆能力稍差，不易扩展到三阶特征交叉阶段
FFM]【引入特征域】
参数数量：n*k*f
复杂度：kn^2
进一步加强特征交叉能力
训练开销到了O(n^2)的量级，训练开销大
GBDT+LR【特征工程模型化】
GBDT 构建特征，LR预估CTR
深度：特征交叉的阶数
优点：<br>更高阶特征组合能力<br>end to end
缺点：<br>容易过拟合<br>无法进行完全并行的训练，训练时长较长
LS-PLM【MLR】
思路：<br>1. 全量样本聚类<br>2. 在样本分片中应用LR<br>
优点：<br>1. 端到端的非线性学习能力<br>2. 模型的稀疏性强【L1 L2正则】
深度学习时代
演化关系图
改变神经网络的复杂程度
改变特征交叉的方式
FM模型的深度学习演化版本
注意力与推荐系统的结合
序列模型与推荐系统的结合
强化学习与推荐系统的结合
AutoRec
单隐层神经网络推荐模型
基本原理：<br>利用协同过滤中的共现矩阵，完成物品向量或者用户向量的自编码<br>利用自编码的结果得到用户对物品的预估评分<br>进行推荐排序
优化目标
训练方法
缺点：单层表达能力较差
Deep Crossing
特征的自动深度交叉
网络结构图
利用 Embeding层+多隐层+输出层 预完成特征的自动深度交叉
缺点：全连接隐层进行特征交叉
NeuralCF
CF与深度学习结合： 基于用户向量和物品向量，利用不同互操作层进行特征的交叉组合，<br>灵活进行不同互操作层的拼接<br>
矩阵分解 vs NeuralCF
多层神经网络+输出层 替代 内积操作
广义矩阵分解：用户与物品向量互操作层 <br>
NeuralCF混合模型
不同互操作网络得到的特征向量拼接
优势：拟合能力强
缺点：没有引入更多其他类型的特征
网络结构图
PNN
加强特征交叉能力
网络结构图：<br> 与deep Crossing类似，Product Layer代替了deep Crossing的Stacking<br>
Embeding/Product Layer/全连接隐层L1 L2/CTR
优势：交叉方式多样性
缺点：<br>为了训练效率，简化操作<br>所有特征无差别交叉
Wide&Deep模型
Wide【记忆能力】
模型直接学习并利用历史数据中物品或者特征的共现频率的能力
处理大量稀疏的ID类特征
Wide&Deep
Deep【泛化能力】
进行深层的特征交叉，挖掘特征背后的数据模式
优点： 开创了组合模型的构造方法，对深度学习推荐系统的后续发展产生重大影响
缺点：wide部分需要人工进行特征组合的筛选
模型的进化版本： DCN(Deep & Cross Network)
Cross网络替换原来Wide部分
增加特征之间的交互力度
自动化交叉，避免更多人工特征工程
缺点： 复杂度较高
Deep【泛化能力】
模型传递特征的相关性，及发掘稀疏甚至从未出现过的稀有特征与最终标签相关性的能力
进行深层的特征交叉，挖掘特征背后的数据模式
模型的进化版本：Deep& Cross
记忆能力和泛化能力
记忆能力
模型直接学习并利用历史数据中物品或者特征的“共现频率”的能力
泛化能力
模型传递特征的相关性及发掘稀疏甚至从未出现<br>过的稀有特征与最终特征相关性的能力<br>
FM与深度学习模型的学习
FNN
用FM的隐向量完成Embeding层初始化
加快了整个网络的收敛速度
缺点：主结构比较简单，没有针对性的特征交叉层
DeepFM
Wide&Deep 基础上，用FM替代原来的线性Wide部分
加强了Wide部分的交叉能力
NFM
用神经网络代替FM中二阶隐向量交叉的操作
与FM相比，表达能力和特征交叉能力更强
缺点：与PNN模型结构相似
注意力机制
DIEN
序列模型
创新点：如何构建 兴趣进化网络
Embeding
Item2vec
利用的 物品序列 由特定用户的浏览，购买等行为产生的历史行为记录行为
摒弃时间窗口概念，认为序列中任意两个物品都相关
双塔模型
广义Item2vec:物品向量化方法统称
Graph Embeding
局部敏感哈希
