从DSSM到双塔DSSM背景结构Word Hashingnegative sampling拓展Google Two Tower Model 背景将自然语言转化为向量，计算向量的相似度作为两句（query&doc)的相似度 历史方法：单词向量空间模型：向量维度是词表，值是词频。计算简单，但是无法解决一词多义(polysemy)和多词一义（synonymy)话题向量空间模型（潜语义分析，LS
转载
2023-12-27 11:30:19
99阅读
本文是2013年微软发表的论文的简要回顾，文中采用深层神经网络结构来学习查询（query）和文档（document）的隐式特征表示，然后用cosine函数计算两者之间的相似性
全文地址如下：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/cikm2013_DSSM_fullversion.pdf论文首先分析了已
转载
2023-07-28 23:52:23
175阅读
文章目录DSSM(2013)DNN for Computing Semantic FeaturesWord HashingYoutube双塔模型(2019)Modeling FrameworkStreaming Frequency EstimationNeural Retrieval System for YoutubeDSSM双塔模型问题与思考 DSSM(2013)Learning Deep
转载
2023-12-20 22:33:53
303阅读
DSSM双塔模型在2013年被微软在论文Learning Deep Structured Semantic Models for Web Search using Clickthrough Data中提出，其应用途径由最初的文本匹配和搜索逐渐推广到了推荐搜索、计算广告、信息流推荐以及机器翻译等等。一、DSSM介绍DSSM在搜索推荐中的原理也比较简单：1、获取搜索引擎中的用户搜索query和曝光do
转载
2023-12-20 22:35:04
454阅读
# 双塔模型代码实践pytorch
在深度学习领域中，双塔模型（Siamese Network）被广泛应用于图像对比任务，例如人脸识别、商品推荐等。双塔模型通过共享参数的方式，将两个输入图像映射为高维特征向量，并通过计算特征向量之间的距离来判断它们的相似度。
本文将使用PyTorch实现一个简单的双塔模型，以帮助读者更好地理解其原理和应用。
## 1. 数据集准备
首先，我们需要准备一个用
原创
2023-10-08 13:50:53
782阅读
本节内容参照小土堆的pytorch入门视频教程，主要通过查询文档的方式讲解如何搭建卷积神经网络。学习时要学会查询文档，这样会比直接搜索良莠不齐的博客更快、更可靠。讲解的内容主要是pytorch核心包中TORCH.NN中的内容(nn是Neural Netwark的缩写)。通常，我们定义的神经网络模型会继承torch.nn.Module类，该类为我们定义好了神经网络骨架。卷积层对于图像处理来说，我们通
转载
2024-05-21 09:00:05
124阅读
双塔模型范式原理与结构解析推荐系统的架构是候选物品集合、召回、粗排、精排到重排的一个流程，目前这个架构已经比较成熟，如图 1 所示。典型的信息流推荐是当我们在刷某个APP的时候，主页会推荐一些相关的信息，这些信息就像流水一样不停的给你展现文章或视频。因此，引出一个问题：为什么推荐系统的信息能做到千人千面？我们以某头条为例，假设它的后台数据库里存储有 1000 万篇文章可以进行展示，同时假定用户固定
转载
2023-12-23 17:11:37
29阅读
本文介绍用于商业兴趣建模的 DSSM 双塔模型。作为推荐领域中大火的双塔模型，因为效果不错并且对工业界十分友好，所以被各大厂广泛应用于推荐系统中。通过构建 user 和 item 两个独立的子网络，将训练好的两个“塔”中的 user embedding 和 item embedding 各自缓存到内存数据库中（redis）。线上预测的时候只需要在内存中计算相似度运算即可。DSSM 双塔模型是推荐领
转载
2023-11-30 09:20:01
921阅读
双塔模型范式原理与结构解析推荐系统的架构是候选物品集合、召回、粗排、精排到重排的一个流程，目前这个架构已经比较成熟，如图 1 所示。典型的信息流推荐是当我们在刷某个APP的时候，主页会推荐一些相关的信息，这些信息就像流水一样不停的给你展现文章或视频。因此，引出一个问题：为什么推荐系统的信息能做到千人千面？我们以某头条为例，假设它的后台数据库里存储有 1000 万篇文章可以进行展示，同时假定用户固定
转载
2023-12-22 12:42:52
84阅读
双塔各种改造方法概览：大型推荐系统通常会将整个推荐链路拆分成召回、粗排、精排和重排等多个模块，以达到推荐效果和计算性能之间的平衡。由于召回模型的候选item通常是海量的全库物品、粗排模型的候选item是上百路召回合并后的物品集，在面临海量候选物品进行粗筛的场景下，双塔结构不仅排序速度快、模型线上效果也不差，且在工业界实战价值很高，因此双塔结构在召回和粗排环节的模型选型中被广泛采用。Microstr
转载
2024-06-05 14:14:49
0阅读
一、什么是文本蕴含识别文本间的推理关系，又称为文本蕴含关系 (TextualEntailment)，作为一种基本的文本间语义联系，广泛存在于自然语言文本中。简单的来说文本蕴含关系描述的是两个文本之间的推理关系，其中一个文本作为前提（premise），另一个文本作为假设（hypothesis），如果根据前提P能够推理得出假设H，那么就说P蕴含H，记做。这跟一阶逻辑中的蕴含关系是类似的。例子： 这个例
转载
2023-10-27 08:45:40
103阅读
# 使用PyTorch实现双塔模型
在推荐系统中，双塔模型是常用的一种架构。这个模型具有两个独立的神经网络，分别用于处理用户和物品的信息。本文将指导你使用PyTorch实现一个简单的双塔模型，通过以下几个步骤完成。
## 流程步骤
| 步骤 | 操作 | 描述 |
|------|---------
原创
2024-10-11 06:11:24
425阅读
目录模型结构、训练方式point-wise训练pair-wise训练list-wise训练 正负样本线上服务模型结构、训练方式用户侧用户离散特征：emb，男女这种类别少的直接one-hot就行，不用emb。用户连续特征：归一化、分桶、log。物品侧同理 两个向量的余弦相似度就是模型的输出，预估用户对物品的兴趣。余弦相似度[-1,1]。训练方式ps. pairwise损失函数tr
biLSTM其实也就很容易理解了。这个实验，我是根据黑龙家大学nlp实验室的冯志，王潜升师兄的指导以及一篇基于biLSTM的paper实现的，如果想要这个paper的pdf，可以私聊我，一起进步。双向循环神经网络，简单的理解就是LSTM正向走一遍，又反向走了一遍而已。而对于立场检测这个实验，在这里我借用此论文的图片：  
论文：《Deep Neural Networks for YouTube Recommendations》基于物品、用户的召回方法，在得到i2i及u2u的相似性矩阵之后，还需要进行协同过滤召回才能得到召回结果，而YoutubeDNN双塔模型直接通过用户向量与物品向量的相似度计算得到召回结果。相信很多小伙伴已经看过相关的文章，这篇文章主要目的在于阐述一些其他人很少关注但却是极其重要的点，当然也包括很
百度提出动态自蒸馏方法，结合交互模型与双塔模型实现稠密段落检索由无论是在工业界还是学术界，知识蒸馏 (Knowledge Distillation, KD) 都是一个很常见的模型压缩和涨点刷分手段，以 Hinton 范式为代表的传统知识蒸馏通常会假设 teacher 和 student 有着相同的模型结构，其中 teacher 通常有着更多的模型层数和更大的隐层维度。在知识蒸馏的过程中，
# 推荐系统中的双塔模型与PyTorch
随着互联网的发展，推荐系统已成为各大平台提升用户体验和增加用户粘性的核心技术之一。推荐系统的类型多种多样，其中双塔模型（Dual-Tower Model）因其良好的效果和高效的计算能力而受到广泛关注。本文将介绍双塔模型的基本概念，并用PyTorch实现一个简单的示例。
## 一、双塔模型概述
双塔模型是一种深度学习推荐系统模型，其主要目的是处理用户和
1.背景DSSM是Deep Structured Semantic Model (深层结构语义模型) 的缩写，即我们通常说的基于深度网络的语义模型，其核心思想是将query和doc映射到到共同维度的语义空间中，通过最大化query和doc语义向量之间的余弦相似度，从而训练得到隐含语义模型，达到检索的目的。DSSM有很广泛的应用，比如：搜索引擎检索，广告相关性，问答系统，机器翻译等。DSSM主要用在
文章目录1.整体结构：2. 词哈希3. DSSM在召回和粗排应用4. 优化技巧 1.整体结构：原始的DSSM是在搜索CTR预估任务，大概分为：embedding层MLP层cosine相似度logitsoftmax层；其中Q代表搜索词(用户)，D1,2,…,n为检索文档(物料) 。如果将最左侧看作一个塔，并称为用户塔；那右侧就可以称为物料塔(或者物料塔1,2,…,n);双塔，多塔架构由此得来。注意
转载
2023-11-27 13:01:06
108阅读
目录1 引言2 DSSM结构图3 word hashing4 推荐中召回的使用DSSM5 基于pytorch的代码实现5.1 数据展示及其预处理5.2 特征处理5.2.1 计算每个user的推荐正类物料特征，计算每个item的平均打分特征5.2.2 区分稀疏特征和密集特征，并进行归一化等处理5.2.3 几个预处理函数5.2.3 处理序列特征，并将它们进行索引化5.3 模型构建5.3.1 DSS网络
