# 大模型的双塔架构实现指南
在现代深度学习中，双塔（Dual-Tower）架构是一种常用于推荐系统和自然语言处理的模型结构，它通过两个独立的网络共同学习不同的信息，再将其结合以进行预测。在本文中，我将为您详细介绍如何实现大模型的双塔架构，以帮助新手开发者从零开始逐步完成这个项目。
## 流程概述
在实现双塔架构之前，我们首先要明确整个流程，以下是实现步骤的简要总结：
| 步骤 | 描述
贡献本文提出了一种从流式数据中估计item频率的新算法，通过理论推导，证明了该算法可以在无需固定item词表的情况下生效，并且能够产生无偏估计，同时能够适应item分布的变化。以解决热门商品在负样本采样时，采样次数过多而被过度惩罚。业内的主流方法和问题推荐领域中emb学习的挑战通常有两个：1）对于许多工业级别的应用来说item语料规模会相当大。2）采集自用户反馈的训练数据对许多item来说非常稀疏
转载
2024-02-04 01:23:27
325阅读
前言工作上将DSSM baseline模型引入组内推荐系统，这里总结下，方便后续回顾。原理原理较为简单，这里不再赘述，主要原理见下图：损失函数原始损失函数首先query和doc之间的相似度为，其中和为query和doc的embedding：对于给定的，正样本的预测点击率为：其中，其中是为正样本匹配的负样本数量，为softmax的平滑因子，损失函数为累积概率，如下所示：而上述损失函数中其中一项具体展
转载
2023-12-12 10:52:29
421阅读
双塔模型 双塔模型双塔模型
原创
2021-08-02 13:48:17
824阅读
在深度学习中，文本匹配模型可以分为两种结构：双塔式和交互式。双塔式模型也称孪生网络、Representation-based，就是用一个编码器分别给两个文本编码出句向量，然后把两个向量融合过一个浅层的分类器；交互是也称Interaction-based，就是把两个文本一起输入进编码器，在编码的过程中让它们相互交换信息，再得到最终结果。如下图：双塔式模型中有监督句向量比较主流的方案是Facebook
转载
2024-01-16 16:41:09
1248阅读
目前，对于基于向量召回，那就不得不提到双塔。为什么双塔在工业界这么常用？ 双塔上线有多方便，真的是谁用谁知道，user塔做在线serving，item塔离线计算embeding建索引，推到线上即可。下面我就给大家介绍一些来自微软、Facebook、Baidu、YouTube的经典双塔模型。微软双塔DSSM先说双塔模型的鼻祖，这是微软在CIKM2013发表的一篇工作，它主要是用来解决NLP领域语义相
转载
2023-10-07 09:52:35
976阅读
从DSSM到双塔DSSM背景结构Word Hashingnegative sampling拓展Google Two Tower Model 背景将自然语言转化为向量，计算向量的相似度作为两句（query&doc)的相似度 历史方法：单词向量空间模型：向量维度是词表，值是词频。计算简单，但是无法解决一词多义(polysemy)和多词一义（synonymy)话题向量空间模型（潜语义分析，LS
转载
2023-12-27 11:30:19
102阅读
背景介绍推荐系统中特征一般分为三类：user(年龄、性别和省份等)、context（时间、搜索词、手机型号和来源页等）和item（具体推荐物品的特征）。其他术语：Items(documents)：推荐系统推荐的实体，对于YouTube就是视频，对于Google应用商店就是app。Query(context)：推荐系统用query的信息进行推荐，query信息包括用户信息(用户id，用户交互特征)和
转载
2023-11-01 16:52:26
204阅读
本文介绍的论文题目是：《Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations》 论文下载地址是：Google工业风最新论文, Youtube提出双塔结构流式模型进行大规模推荐本文是谷歌工业风论文的新作，介绍了在大规模推荐系统中使用双塔模型来做召回的一些经验，值得细细品读。本文仅对文章内容做一个简单
转载
2023-12-13 20:11:52
103阅读
DSSMDSSM的变种MV-DNNGoogle Two Tower Model广告场景中的DSSM双塔模型总结基于深度学习的召回近些年已经得到了长足的发展，其中双塔模型更是作为经典的深度学习召回模型被各大公司应用，回顾双塔模型的发展可以追溯到2013年微软发布的DSSM模型，本篇文章将会从DSSM开始介绍几篇论文，看一下DSSM模型是怎么发展成为双塔模型并应用在推荐系统中做召回的。DSSMDSSM
转载
2024-04-23 10:55:58
180阅读
开放域问答系统的泛化性和鲁棒性一直是一个业界难题，其中位于最顶层的稠密检索模型(Dense Retriever)常常被诟病其OOD泛化能力不如传统的BM25算法。今天分享一篇来自Google的工作，其实稠密检索模型的泛化能力并不是天生就差，它只是需要更强大的编码器和更多更好的训练数据而已。Large Dual Encoders Are Generalizable Retrievershttps:/
双塔模型范式原理与结构解析推荐系统的架构是候选物品集合、召回、粗排、精排到重排的一个流程，目前这个架构已经比较成熟，如图 1 所示。典型的信息流推荐是当我们在刷某个APP的时候，主页会推荐一些相关的信息，这些信息就像流水一样不停的给你展现文章或视频。因此，引出一个问题：为什么推荐系统的信息能做到千人千面？我们以某头条为例，假设它的后台数据库里存储有 1000 万篇文章可以进行展示，同时假定用户固定
转载
2023-12-22 12:42:52
84阅读
文章目录DSSM(2013)DNN for Computing Semantic FeaturesWord HashingYoutube双塔模型(2019)Modeling FrameworkStreaming Frequency EstimationNeural Retrieval System for YoutubeDSSM双塔模型问题与思考 DSSM(2013)Learning Deep
转载
2023-12-20 22:33:53
303阅读
双塔模型范式原理与结构解析推荐系统的架构是候选物品集合、召回、粗排、精排到重排的一个流程，目前这个架构已经比较成熟，如图 1 所示。典型的信息流推荐是当我们在刷某个APP的时候，主页会推荐一些相关的信息，这些信息就像流水一样不停的给你展现文章或视频。因此，引出一个问题：为什么推荐系统的信息能做到千人千面？我们以某头条为例，假设它的后台数据库里存储有 1000 万篇文章可以进行展示，同时假定用户固定
转载
2023-12-23 17:11:37
29阅读
本文介绍用于商业兴趣建模的 DSSM 双塔模型。作为推荐领域中大火的双塔模型，因为效果不错并且对工业界十分友好，所以被各大厂广泛应用于推荐系统中。通过构建 user 和 item 两个独立的子网络，将训练好的两个“塔”中的 user embedding 和 item embedding 各自缓存到内存数据库中（redis）。线上预测的时候只需要在内存中计算相似度运算即可。DSSM 双塔模型是推荐领
转载
2023-11-30 09:20:01
921阅读
适用领域： 1.句向量生成 2.语义相似度计算 3.语义搜索 4.无监督任务（聚类）1.1表示型模型（单塔模型）BERT和RoBERTa 在文本语义相似度（Semantic Textual Simailarty) 等句子回归任务上，已经达到SOTA的结果，其语义相似度计算的处理方式是构造句子对[CLS]sen1[SEP]sen2输入到模型中，通过各种句子间的特征交互完成相似度计算，这就是交互式模型
转载
2024-03-18 21:13:56
121阅读
本文是2013年微软发表的论文的简要回顾，文中采用深层神经网络结构来学习查询（query）和文档（document）的隐式特征表示，然后用cosine函数计算两者之间的相似性
全文地址如下：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/cikm2013_DSSM_fullversion.pdf论文首先分析了已
转载
2023-07-28 23:52:23
178阅读
正文开始之前，先声明两点：双塔是“召回”+“粗排”的绝对主力模型。但是要让双塔在召回、粗排中发挥作用，带来收益，只改进双塔结构是远远不够的。如何采样以减少“样本选择偏差”、如何保证上下游目标一致性、如何在双塔中实现多任务间的信息转移…，都是非常重要的课题。但是受篇幅限制，本文只聚集于双塔模型结构上的改进。双塔分离：成也萧何，败也萧何双塔的模型结构很简单。训练的时候将用户侧的信息喂入一个DNN（ak
开放域问答系统的泛化性和鲁棒性一直是一个业界难题，其中位于最顶层的稠密检索模型(Dense Retriever)常常被诟病其OOD泛化能力不如传统的BM25算法。今天分享一篇来自Google的工作，其实稠密检索模型的泛化能力并不是天生就差，它只是需要更强大的编码器和更多更好的训练数据而已。Large Dual Encoders Are Generalizable Retrievershttps:/
转载
2023-12-29 23:40:42
69阅读
双塔学习笔记（Deep Structured Semantic Models）总体框架一、纸上得来终觉浅1、背景2、双塔的鼻祖（最初的双塔，重点讲解）3、百家争鸣（各路英雄对双塔的改进，主要讲解改进了哪里）4、双塔在推荐系统的表演（百度、谷歌）5、双塔的优缺点二、绝知此事要躬行实战篇 ：双塔手助游戏推荐中的应用和效果。一、背景：DSSM 深度语义匹配模型最早是应用于 NLP 领域中计算语义相似度任
转载
2023-09-28 14:43:27
204阅读
