# 使用 PyTorch 实现 DSSM 模型的入门指南
在深度学习领域，双塔结构的模型（例如 DSSM：Deep Semantic Similarity Model）常用于计算文本之间的相似性。这篇文章将教你如何使用 PyTorch 实现 DSSM 模型，特别适合刚入行的小白。我们将通过以下步骤进行实现：
| 步骤 | 描述 |
|------|------|
| 1 | 数据准备 |
原创
2024-10-09 05:08:17
198阅读
目录网络定义model.named_children 返回名字 和 操作model.modules() 可用于参数初始化其他的可以参考：model.parameters() || torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False)[source]打印网络总参数量net.par
转载
2023-10-06 08:37:59
204阅读
增材制造，也就是通常所说的3D打印，是一种制造过程，通过添加材料，一层一层，建立一个零件。这个过程从在用户的本地CAD程序中设计的3D模型开始。然后对该零件进行分析，并将其划分为许多个部分，以创建该零件的构建计划。目前常用的增材制造技术有立体石印(SLA)、选择性激光烧结(SLS)、直接金属激光烧结(DMLS)、选择性激光熔融(SLM)和熔融丝制造(FFF)，还有其他的技术。 一、SOL
转载
2024-02-04 14:07:26
59阅读
从DSSM到双塔DSSM背景结构Word Hashingnegative sampling拓展Google Two Tower Model 背景将自然语言转化为向量，计算向量的相似度作为两句（query&doc)的相似度 历史方法：单词向量空间模型：向量维度是词表，值是词频。计算简单，但是无法解决一词多义(polysemy)和多词一义（synonymy)话题向量空间模型（潜语义分析，LS
转载
2023-12-27 11:30:19
99阅读
本文是2013年微软发表的论文的简要回顾，文中采用深层神经网络结构来学习查询（query）和文档（document）的隐式特征表示，然后用cosine函数计算两者之间的相似性
全文地址如下：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/cikm2013_DSSM_fullversion.pdf论文首先分析了已
转载
2023-07-28 23:52:23
175阅读
文章目录DSSM(2013)DNN for Computing Semantic FeaturesWord HashingYoutube双塔模型(2019)Modeling FrameworkStreaming Frequency EstimationNeural Retrieval System for YoutubeDSSM双塔模型问题与思考 DSSM(2013)Learning Deep
转载
2023-12-20 22:33:53
303阅读
1、理论PaperWeekly：检索式问答系统的语义匹配模型：https://zhuanlan.zhihu.com/p/26879507文本匹配开山之作-DSSM论文笔记及源码阅读 https://zhuanlan.zhihu.com/p/141226054DSSMDSSM也是Representation-Based模型，其中Query端 Encoder 和 Doc端 Encoder都是
DSSM双塔模型在2013年被微软在论文Learning Deep Structured Semantic Models for Web Search using Clickthrough Data中提出，其应用途径由最初的文本匹配和搜索逐渐推广到了推荐搜索、计算广告、信息流推荐以及机器翻译等等。一、DSSM介绍DSSM在搜索推荐中的原理也比较简单：1、获取搜索引擎中的用户搜索query和曝光do
转载
2023-12-20 22:35:04
451阅读
目录模型结构、训练方式point-wise训练pair-wise训练list-wise训练 正负样本线上服务模型结构、训练方式用户侧用户离散特征：emb，男女这种类别少的直接one-hot就行，不用emb。用户连续特征：归一化、分桶、log。物品侧同理 两个向量的余弦相似度就是模型的输出，预估用户对物品的兴趣。余弦相似度[-1,1]。训练方式ps. pairwise损失函数tr
# PyTorch中的DSSM实现
深度学习的快速发展使得各种模型得以实现，其中深度语义匹配模型（Deep Structured Semantic Model，简称DSSM）是处理文本相似性非常有效的一种模型。本文将介绍DSSM的概念，并基于PyTorch提供一个简单的实现示例。
## DSSM的概念
DSSM最初由微软提出，旨在通过深度学习模型将文本序列映射到一个低维的向量空间中，从而在该
CUDA(Compute Unified Device Architecture)是NVIDIA推出的异构计算平台，PyTorch中有专门的模块torch.cuda来设置和运行CUDA相关操作。本地安装环境为Windows10，Python3.7.8和CUDA 11.6，安装PyTorch最新稳定版本1.12.1如下：pip3 install torch torchvision torchau
转载
2023-07-28 00:08:14
126阅读
目录1.简介 2.数据集3.模型初始化4.训练参数5.训练&验证6.保存&加载模型1.简介 这篇文章主要是针对刚入门pytorch的小伙伴，会带大家完整走一遍使用神经网络训练的流程，以及介绍一些pytorch常用的函数。如果还未安装pytorch或者安装有困难，可以参考我的上一篇文章：Windows Anaconda精简安装cuda+pytorch+torchv
转载
2023-08-05 13:32:08
181阅读
# 实现DSSM双塔模型的完整指南
DSSM（Deep Structured Semantic Model）是一种双塔模型，通常应用于文档检索和推荐系统中。它通过两个神经网络分别处理查询和文档，然后比较它们的语义相似度。本文将为刚入行的小白开发者提供实现DSSM的完整流程和相应代码示例。
## 流程概述
我们可以将DSSM模型的实现流程分为以下几个步骤：
| 步骤 | 描述
在学习深度学习初期，被各种算法、各种名词吸引，学习了一些相关知识、框架和方法，也跑过Mnist分类以及iris回归。但是当真正拿到一个陌生的数据集时，需要重头开始搭建一个完整的模型时，常常会感觉到无从下手，之前跑的模型都是用人家整理好的数据，一行代码就能把数据加载进行直接使用，自己完全不关心数据的加载、处理过程，只关心模型能不能训练，训练结果怎么样。这篇文章简单记录一下pytorch中自定义数据集
转载
2024-03-11 06:31:33
95阅读
文章目录一、DSSM模型1.1 DSSM模型架构1.2 模型原理二、负样本构造的6个常用方法2.1 曝光未点击
原创
2022-07-14 12:55:16
2829阅读
点赞
双塔学习笔记（Deep Structured Semantic Models）总体框架一、纸上得来终觉浅1、背景2、双塔的鼻祖（最初的双塔，重点讲解）3、百家争鸣（各路英雄对双塔的改进，主要讲解改进了哪里）4、双塔在推荐系统的表演（百度、谷歌）5、双塔的优缺点二、绝知此事要躬行实战篇 ：双塔手助游戏推荐中的应用和效果。一、背景：DSSM 深度语义匹配模型最早是应用于 NLP 领域中计算语义相似度任
转载
2023-09-28 14:43:27
204阅读
目录0 TensorFlow的建模流程1 准备数据2 定义模型3 训练模型4 评估模型5 使用模型6 保存模型 0 TensorFlow的建模流程尽管TensorFlow设计上足够灵活，可以用于进行各种复杂的数值计算。但通常人们使用TensorFlow来实现机器学习模型，尤其常用于实现神经网络模型。从原理上说可以使用张量构建计算图来定义神经网络，并通过自动微分机制训练模型。但为简洁起见，一般推荐
转载
2024-05-29 07:55:42
97阅读
# 基于DSSM的文本相关性模型及PyTorch实现
在现代信息检索和推荐系统中，文本相关性是一个重要的研究方向。DSSM（Deep Structured Semantic Model）是一种有效的方法，用于评估查询和文档之间的相关性。本文将介绍DSSM的基本原理，并提供一个用PyTorch实现的简单示例，帮助大家了解如何搭建这样的模型。
## DSSM概述
DSSM通过将查询和文档嵌入到同
文本匹配是NLP的一个重要任务，应用场景也十分广泛，比如搜索中query和doc的匹配、问答中query和answer的匹配、甚至再泛化点来讲，也可应用到推荐、多模态图文匹配中，甚至NER、分类都可以用匹配来解。去年写过一篇文本匹配的综述，分别列举了匹配任务中的两种范式，双塔式和交互式： 这两种范式各有优缺点：双塔（左图）的速度很快，但是由于缺少两个句子的细粒度交互，效果始终有限交互（右图）则完
转载
2023-12-29 23:21:48
74阅读
DSSM双塔模型，是很多双塔模型的基础，学习召回模型训练的三种方式。召回中，一
原创
2022-07-14 12:51:42
5090阅读
