任务描述 问句匹配是自然语言处理的最基本任务之一，是自动问答，聊天机器人，信息检索，机器翻译等各种自然语言处理任务基础。问句匹配的主要目的是判断两个问句之间的语义是否等价。判别标准主要根据主句（即提问者）所蕴含的意图来判断两个语句是否等价，而不直接判断两个语句是否表达相同的语义。因此，其核心是语句的意图匹配。由于来源于真实问答语料库，该任务更加接近于智能医疗助手等自然语言处理任务的实际需
转载
2023-11-29 15:20:31
70阅读
1. 文本相似度计算-文本向量化2. 文本相似度计算-距离的度量3. 文本相似度计算-DSSM算法4. 文本相似度计算-CNN-DSSM算法1. 前言最近在学习文本相似度的计算，前面两篇文章分别介绍了文本的向量化和文本的距离度量，这两篇文章的思路主要在机器学习的框架下面，本文准备换一个思路，从深度学习的角度来处理文本相似度的问题。本文介绍DSSM（Deep Structured Semantic
转载
2023-12-20 22:35:50
132阅读
这篇文章，专门讲语义相似度问题。先看场景：scene(一)：用户通过大众点评，线上约了餐馆，就餐后在上面发表了很多评论，评论中涉及了大量的餐馆的问题，比如菜品质量，酒店卫生，服务等等。现在需要抽取之中的要点，然后反馈给商家。scene(二)：KB_QA的两个问题：①获取question的语义表示②把语义表示转换成知识图谱的能够理解的语言逻辑形式。无论是核心推导链还是向量建模，核心都是questio
转载
2023-09-18 10:20:00
69阅读
本文《Siamese Recurrent Architectures for Learning Sentence Similarity》提出了一种使用孪生递归网络来计算句子语义相似度的方法。首先，使用LSTM将不定长的两个句子编码为固定尺寸的特征，再通过manhattan距离来衡量特征之间距离。论文地址:https://dl.acm.org/citation.cfm?id=3016291引言句子相
转载
2023-11-11 20:54:27
105阅读
# Python语义相似度计算教程
在自然语言处理(NLP)中，语义相似度计算是指衡量两个文本之间的意义相似程度。通过计算语义相似度，我们可以比较文本、分析情感及实现推荐系统等。本文将使用Python为例，介绍如何计算文本的语义相似度，并展示相应的代码示例。
## 什么是语义相似度
语义相似度在NLP中是一个重要的概念。它通常用于以下应用场景：
- 文本分类
- 情感分析
- 机器翻译
-
原创
2024-10-02 05:08:27
285阅读
诸多事物都要受到其周边事物的影响，进而改变自身的形态，甚至确立自己的存在——云动，方知风的存在。反映在人的眼中，则是云赋予了风的含义：若无云，岂有风？
0. 动机武林高手经常从山川之间顿悟，并由山川之形变化出上乘武艺。风云之间的飘渺互动，实则也为实打实的科学、工程实践提供了指引。风是客观存在的，而只有籍由云，我们才能观察到它。在技术领域的日常工作中，诸如此类的例子数不胜数。而在自然语言语义的
转载
2023-12-26 11:50:46
76阅读
基于预训练模型 ERNIE-Gram 实现语义匹配本案例介绍 NLP 最基本的任务类型之一 —— 文本语义匹配，并且基于 PaddleNLP 使用百度开源的预训练模型 ERNIE1.0 为基础训练效果优异的语义匹配模型，来判断 2 个文本语义是否相同。一、 背景介绍文本语义匹配任务，简单来说就是给定两段文本的相，让模型来判断两段文本是不是语义相似。在本案例中以权威的语义匹配数据集 LCQMC 为例
转载
2024-04-16 21:15:41
402阅读
1. 概述论文标题：Structured Knowledge Distillation for Semantic Segmentation论文地址： Structured Knowledge Distillation for Semantic Segmentationarxiv.org
说明：这篇阅读笔记中的图片均来自原论文，版权为原作者所有。这是一篇CVPR2019做语义分割任务的文章，
转载
2023-11-30 19:08:22
69阅读
注：只挑选了干货部分进行翻译 目录前言1. 传统搜索1.1 Jaccard Similarity1.2 w-Shingling1.3 Levenshtein Distance2. 向量相似度检索2.1 TF-IDF2.2 BM252.3 BERT 前言相似性搜索（Similarity search）是人工智能和机器学习中发展最快的领域之一。其核心是将相关信息片段匹配在一起的过程。相似性搜索是一个复
转载
2023-11-07 17:05:38
253阅读
一、简介论文：Learning Deep Structured Semantic Models for Web Search using Clickthrough Data微软13年提出的计算文本相似度的深度学习模型，核心思想是将query和doc映射到到共同维度的语义空间中，通过最大化query和doc语义向量之间的余弦相似度，从而训练得到隐含语义模型，达到检索的目的。DSSM有很广泛的应用，比
转载
2023-11-22 16:11:58
128阅读
1.语义相似定义两个任意的词语如果在不同的上下文中可以相互替换且不改变文本的语义的可能性越大，那么两者之间的相似度就越高，否则相似度就越低。22.语义距离定义：数值在0到正无穷，0表示相似度为1，正无穷表示相似度为0。检测方法： 1.基于世界知识。根据世界知识方法一般是利用一部同义词词典来计算词语语义距离，现在常用的同义词词典有同义词词林、WordNet 和 HowNet 等，其中同义林词林和 W
转载
2023-12-25 10:08:27
302阅读
写在开始之前：语义即联系。以下部分来自于我在公司内部的分享。一、相关概念在学术上，大致有以下三个概念和文本相似度相关：Semantic Textual Similarity(文本语义相似度)：5分表示非常相似，0分表示非常不相似。Paraphrase Identification(复述判定)：1表示是复述，0表示不是复述。Natural Language Inference(自然语言推断)：C表示
转载
2023-11-27 02:27:32
358阅读
W~J~T~E一、基本方法在做自然语言处理的过程中，我们经常会遇到需要找出相似语句的场景，或者找出句子的近似表达，那么求句子相似度方法有哪些呢？ 编辑距离计算杰卡德系数计算TF 计算TFIDF 计算Word2Vec 计算 1）Word2Vec：其实就是将每一个词转换为向量的过程 这里我们可以直接下载训练好的 Word2Vec 模型，模型的链接地址为：news_12g_baid
转载
2023-09-30 22:57:21
860阅读
目标：针对给定输入文本与文本库，计算得出文本库中与输入文本最相似的文本实现帖：对于人类，两句话的相似性一般都从语义上进行考虑，大白话说就是”这两句话说的是同一件事儿/同一个意思“。相似的句子可能会有相似的语法。对于当前的计算机来说，已经用标点符号等区分开了句子与句子，但如何理解、表达句子的意思是个难题，也就是需要人工定义语义的概念。另外，人类语言世界中的句子通常都有一定的使用环境，但到了计算机系统
转载
2024-02-04 13:17:47
78阅读
1. 前言最近在学习文本相似度的计算，前面两篇文章分别介绍了文本的向量化和文本的距离度量，这两篇文章的思路主要在机器学习的框架下面，本文准备换一个思路，从深度学习的角度来处理文本相似度的问题。本文介绍DSSM（Deep Structured Semantic Models）深度学习架构。2. DSSM原理DSSM的原理很简单，通过搜索引擎里Query和Doc的海量的点击曝光日志，用DNN把Quer
转载
2023-11-10 02:30:02
228阅读
在NLP领域，语义相似度的计算一直是个难题：搜索场景下query和Doc的语义相似度、feeds场景下Doc
转载
2022-11-08 20:14:42
418阅读
在这篇博文中，我们将深入探索如何使用Python计算中文的语义相似度。这是一个非常有趣和实用的话题，尤其是在自然语言处理和机器学习的领域中。接下来，我们将讨论环境预检、部署架构、安装过程、依赖管理、故障排查和版本管理等关键内容。
### 环境预检
在开始之前，我们需要确认系统环境是否符合要求。以下是系统要求的表格：
| 系统环境 | 要求 |
|-
作者：刘子仪paper：tBERT: Topic Models and BERT Joining Forces for Semantic Similarity Detection分析语义相似度一直都是自然语言处理中的一个基础任务，在很多场景下例如问答系统，抄袭检测都有应用。这篇文章针对特定领域下的语义相似比较提出了结合topic models和BERT的tBERT模型。模型架构很简单，topic模
转载
2023-12-13 13:22:00
111阅读
知识图谱与语义相似度的关系
如果本文观点有不对的地方，欢迎指正！ author:佟学强 开场白：对于事物的理解，一般分3个层次：①看山是山，看水是水②看山不是山，看水不是水③看山是山，看水是水。对AI和nlp的理解，同样会有这三个层次。比如，刚毕业的硕士或者毕业1~2年的，会热衷于研究GAN，seq2seq，甚至包括nlp刚起步的一些公司。这类群体对
转载
2023-08-27 21:46:03
143阅读
每天给你送来NLP技术干货！作者 | 周俊贤 整理 | NewBeeNLP这篇跟大家讨论相关的技术，主要包括BERT-avg、BERT-Whitening、SBERT、SimCES四个。为了方便，还是从狭义的语义匹配的场景出发，输入一对句子，输出这对句子相似性（回归，0~1）。BERT-avgBERT-avg做法
转载
2024-02-07 12:49:40
368阅读
