1. 推荐系统与推荐模型

  • 排名预测
  • TopN推荐
  • 分类模型


    推荐系统的两个阶段：召回（挑选候选集），排序（对候选集排序）

2.基于表示学习的深度学习推荐模型

bce embedding_bce embedding

DL 在召回阶段的关键：学习User 和 Item的Embedding表达。

具体的方法有：

  • 无监督模式：Auto-encoder
  • 半监督模式：Auto-encoder + 矩阵分解
  • 监督方式:

bce embedding_深度学习_02


无监督方法:Auto-Encoder

(1) AutoRec

直接对用户和item的输入进行重构，获得中间层的信息作为表示的Embedding。

bce embedding_推荐系统_03

（2）CDAE模型

bce embedding_深度学习_04

协同过滤神经网络：

bce embedding_bce embedding_05

半监督模式

bce embedding_bce embedding_06

有监督模式

（1）Rating

通过对用户Embedding和item的Embedding，使用内积，cosine相似性等来进行预测，训练。训练结束，就可以获得相应的用户Embedding向量。

bce embedding_深度学习_07

神经网络协同过滤框架

bce embedding_推荐系统_08

Facebook product

bce embedding_深度学习_09

深度矩阵分解

bce embedding_协同过滤_10


bce embedding_协同过滤_11

YouTube视频推荐

用户历史观察的物品向量，经过MLP特征提取，在最后一层作为用户的Embedding表示。然后，根据最近邻索引，获得top N 个物品。

bce embedding_推荐系统_12

3. 基于特征组合的深度学习推荐模型

难题：

特征表达问题：如何处理大量离散特征及高维度稀疏特征？
特征组合问题：如何捕获和表达两两组合特征？多组组合特征？

离散特征：

使用Onehot表达。

bce embedding_bce embedding_13


但是这个CTR预估任务里往往不现实，因为节点很多，有时特征的取值范围很大。

bce embedding_深度学习_14

bce embedding_协同过滤_15


这里有个缺点：低阶和高阶特征组合隐含地体现在隐层。而MLP表达能力很弱。

改进：把低阶特征单独建模。

bce embedding_协同过滤_16


并行结构代表：Wide & Deep模型。 Wide网络为LR模型；

bce embedding_协同过滤_17


bce embedding_深度学习_18


bce embedding_协同过滤_19


bce embedding_深度学习_20


bce embedding_bce embedding_21

总结:

  1. 深度模型输入问题基本解决：onehot ->field Embedding；
  2. 关键： 2阶特征组合网络结构的设计；
  3. 多特征组合分层表示：2阶、3阶、4阶有效，再高阶用处不大；
  4. MLP这种加性捕获特征组合能力不强，乘性结构捕获组合特征比较合适；
  5. 多模态融合是趋势；

4.微博上的应用

bce embedding_深度学习_22


bce embedding_协同过滤_23