机器学习是时下流行AI技术中一个很重要的方向，无论是有监督学习还是无监督学习都使用各种“度量”来得到不同样本数据的差异度或者不同样本数据的相似度。良好的“度量”可以显著提高算法的分类或预测的准确率，本文中将介绍机器学习中各种“度量”，“度量”主要由两种，分别为距离、相似度和相关系数，距离的研究主体一般是线性空间中点；而相似度研
写在开始之前：语义即联系。以下部分来自于我在公司内部的分享。一、相关概念在学术上，大致有以下三个概念和文本相似度相关：Semantic Textual Similarity(文本语义相似度)：5分表示非常相似，0分表示非常不相似。Paraphrase Identification(复述判定)：1表示是复述，0表示不是复述。Natural Language Inference(自然语言推断)：C表示
转载
2023-11-27 02:27:32
358阅读
最近在做一个虚拟客服的项目，简单的了解了一下中文语境的集中句子相似度的算法看了大佬的项目和博客，不明觉厉基于音形码，EditDistance的字符串纠正相似度算法音形码格式：【韵母，声母，结构，四角编码，笔画数】 共8位音形码相似度算法 TODO 字
转载
2024-05-13 20:15:37
45阅读
短文本语义相似度度量基于深度学习的短文的语义相似度计算依存句法分析依存句法分析是一种常用的句子结构的表达方式。在依存句法中，句子的结构是以其谓语为中心，词语之间的相互依存而构成的树形结构。依存句法分析可以获得词语间的修饰关系，有助于分析句子的结构及其所报含的信息。 常用的依存句法分析模型可以分为两个大类基于图模型，比较常见的实现是哈工大的LTP以及MTPParser基于转移模型，具有线性时间复杂
转载
2024-03-30 08:04:42
36阅读
1. ERNIE简介这里的ERNIE(包括后面介绍的都是指的ERNIE1.0)是指百度提出的知识增强的语义表示模型 ERNIE（Enhanced Representation from kNowledge IntEgration），而且发布了基于 PaddlePaddle 的开源代码与模型 。 ERNIE在结构上和BERT是一样的，只是改进了BERT的预训练阶段，增加了实体等先验知识，而且在大型中
转载
2024-05-13 14:00:48
60阅读
本文《Siamese Recurrent Architectures for Learning Sentence Similarity》提出了一种使用孪生递归网络来计算句子语义相似度的方法。首先，使用LSTM将不定长的两个句子编码为固定尺寸的特征，再通过manhattan距离来衡量特征之间距离。论文地址:https://dl.acm.org/citation.cfm?id=3016291引言句子相
转载
2023-11-11 20:54:27
105阅读
目标：针对给定输入文本与文本库，计算得出文本库中与输入文本最相似的文本实现帖：对于人类，两句话的相似性一般都从语义上进行考虑，大白话说就是”这两句话说的是同一件事儿/同一个意思“。相似的句子可能会有相似的语法。对于当前的计算机来说，已经用标点符号等区分开了句子与句子，但如何理解、表达句子的意思是个难题，也就是需要人工定义语义的概念。另外，人类语言世界中的句子通常都有一定的使用环境，但到了计算机系统
转载
2024-02-04 13:17:47
78阅读
环境设置：SentenceTransformertransformersSentenceTransformers Documentation — Sentence-Transformers documentation (sbert.net)Sentence Transformer是一个Python框架，用于句子、文本和图像嵌入Embedding。这个框架计算超过100种语言的句子或文本嵌入。然后，
转载
2024-02-10 06:53:52
411阅读
知识图谱与语义相似度的关系
如果本文观点有不对的地方，欢迎指正！ author:佟学强 开场白：对于事物的理解，一般分3个层次：①看山是山，看水是水②看山不是山，看水不是水③看山是山，看水是水。对AI和nlp的理解，同样会有这三个层次。比如，刚毕业的硕士或者毕业1~2年的，会热衷于研究GAN，seq2seq，甚至包括nlp刚起步的一些公司。这类群体对
转载
2023-08-27 21:46:03
143阅读
一、序言
文本匹配是自然语言处理中一个重要的基础问题，自然语言处理中的许多任务都可以抽象为文本匹配任务。例如网页搜索可抽象为网页同用户搜索 Query 的一个相关性匹配问题，自动问答可抽象为候选答案与问题的满足度匹配问题，文本去重可以抽象为文本与文本的相似度匹配问题。
传统的文本匹配技术如信息检索中的向量空间模型 VSM、BM25 等算法，主要解决词汇层面的匹配问题，或者
转载
2023-11-09 12:13:48
524阅读
《Short Text Similarity With Word Embeddings》论文解释一、概要 本文主要介绍基于词嵌入的短文本相似度计算方法。相比较于其他方法，这种方法的特点在于：几乎不需要任何外部知识（例如不需要语法分析等）不需要手工构造特征此方法计算的是语义相似度，并不是语法或者词型相似度（另一篇文章中提高到LCS、编辑距离等）能够利用多种方式、多种语料获得的词向量（多种方式：wor
转载
2024-07-25 14:21:06
0阅读
DSSM (Deep Structured Semantic Models)用于文本相似度匹配场景，是为了平衡搜索的关键词，和被点击的文本标题之间的相关性。论文地址：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/cikm2013_DSSM_fullversion.pdf目录1、DSSM原理1.1、wordha
转载
2023-12-10 15:17:34
214阅读
问题对语义相似度计算（从0到0.5+）短短一个多月的时间，我学到了很多很多东西，从一个呆头小白初长成人。首先，必须感谢我的导师能给我这个机会从头到尾完整地参加这次比赛，至始至终地为我们出谋划策，和我们探讨问题并答疑解惑，而且提供了各种宝贵的学习资料和服务器资源。另外，也要特别感谢我的师兄一路无微不至的提点和帮助，和我一起找方法、看论文、搭模型、改代码，其实我们是从同一个起跑线开始的，到最后被师兄甩
转载
2024-01-24 10:33:45
234阅读
代码链接(Java)GitHub链接，若有帮助，可以点个Star~可运行的Jar包已发布至仓库的release包内计算模块接口的设计与实现过程整体流程MainApplication.main()会接收到三个参数，接着执行process方法将两个等待对比的文本内容分别转换为字符串SimilarTextCalculator.getSimilarity()，对比这两个字符串将结果输出到指定路径文件工程分
转载
2023-06-28 17:50:31
767阅读
基于预训练模型 ERNIE-Gram 实现语义匹配本案例介绍 NLP 最基本的任务类型之一 —— 文本语义匹配，并且基于 PaddleNLP 使用百度开源的预训练模型 ERNIE-Gram 搭建效果优异的语义匹配模型，来判断 2 段文本语义是否相同。1. 背景介绍文本语义匹配任务，简单来说就是给定两段文本，让模型来判断两段文本是不是语义相似。在本案例中以权威的语义匹配数据集 LCQMC 为例，LC
转载
2023-11-22 23:35:38
203阅读
# 实现Java文本语义相似度计算
作为一名经验丰富的开发者，我将向你介绍如何实现Java文本语义相似度计算。这是一个比较复杂的任务，但只要按照正确的步骤进行，你就能够成功实现。首先，我们来看一下整个实现过程的流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 准备文本数据 |
| 2 | 对文本数据进行预处理 |
| 3 | 使用词向量模型将文本转换为向量表示 |
| 4
原创
2024-04-14 04:18:21
267阅读
1. 文本相似度计算-文本向量化2. 文本相似度计算-距离的度量3. 文本相似度计算-DSSM算法4. 文本相似度计算-CNN-DSSM算法1. 前言最近在学习文本相似度的计算，前面两篇文章分别介绍了文本的向量化和文本的距离度量，这两篇文章的思路主要在机器学习的框架下面，本文准备换一个思路，从深度学习的角度来处理文本相似度的问题。本文介绍DSSM（Deep Structured Semantic
转载
2023-12-20 22:35:50
132阅读
短文本匹配调研 一．问题背景 机器智能问答FAQ中，输入新文本(语音转文本)后，和对话库内已有句子进行匹配，匹配完成后输出对应问题答案。而这里主要研究的就是两个句子如何计算它们之间语义相似度的问题。 二．方案调研 1.余弦计算短文本相似度度量 a)步骤 （1）找出两个短文本的关键词； （2）每篇文章各取出若干个关键词，合并成一个集合，计算每篇 文章对于这个集合中的词的词频
转载
2024-05-30 14:52:16
138阅读
计算机对主观题的自动评阅准确与否，主要取决于其对文本相似度的计算是否准确。由于文本相似度计算在文档复制检查、信息检索和机器翻译等领域都有十分广泛的应用，所以，近年来有越来越多的学者致力于文本相似度算法的研究。总体来看，文本相似度的计算方法主要分为两大类：一类是基于统计学的计算方法，此种方法需要大规模的语料库，并且在计算时没有考虑文本的句子结构信息和语义信息，计算的结果有时会与人对自然语言的理解不相
转载
2023-12-19 09:05:36
52阅读
注：只挑选了干货部分进行翻译 目录前言1. 传统搜索1.1 Jaccard Similarity1.2 w-Shingling1.3 Levenshtein Distance2. 向量相似度检索2.1 TF-IDF2.2 BM252.3 BERT 前言相似性搜索（Similarity search）是人工智能和机器学习中发展最快的领域之一。其核心是将相关信息片段匹配在一起的过程。相似性搜索是一个复
转载
2023-11-07 17:05:38
253阅读
