▌前言当初开发模糊搜索功能的初衷是为了解决分词不完整的问题，包括中文字符和英文字符的分词。这些分词问题可能会导致用户在搜索过程中无法搜到结果。例如，在搜索“banner”数据时，一条MySQL的banner数据中包含"ubuntu"关键词，但是由于系统正确的分词是"0ubuntu0"，导致大家搜索不到匹配结果。令人惊喜的是，在此过程中我们发现，模糊搜索功能其实可以适用于更多特定的搜索场景。本文即将
SimHash原理1.SimHash背景SimHash算法来自于 GoogleMoses Charikar发表的一篇论文“detecting near-duplicates for web crawling” ，其主要思想是降维， 将高维的特征向量映射成低维的特征向量，通过两个向量的Hamming Distance（汉明距离）来确定文章是否重复或者高度近似。Hamming Distance： 又称
转载
2023-11-23 21:24:28
55阅读
所有的模型均采用tensorflow进行了实现，欢迎start，[代码地址]https://github.com/terrifyzhao/text_matching简介DRCN和DIIN的结构十分相似，包括输入层与特征提取层， DRCN在特征提取阶段结合了DenseNet的连接策略与Attention机制，在interaction阶段，也、采取了更加多样化的交互策略，接下来就为大家详细介绍一下。结
转载
2023-12-09 09:36:26
137阅读
PaddlePaddle飞浆搭建和机器学习文字识别 飞桨（PaddlePaddle）以百度多年的深度学习技术研究和业务应用为基础，集深度学习核心训练和推理框架、基础模型库、端到端开发套件、丰富的工具组件于一体，是中国首个自主研发、功能丰富、开源开放的产业级深度学习平台。安装 PaddlePaddle 对python版本是有要求，2022年11月21日15:04:36最新的PaddlePaddle（
转载
2023-12-26 17:03:20
134阅读
推荐算法准确度度量公式：其中，R(u)表示对用户推荐的N个物品，T(u)表示用户u在测试集上喜欢的物品集合。集合相似度度量公式(N维向量的距离度量公式)：Jaccard公式：其中，N(u)表示用户u有过正反馈的物品集合。余弦相似度公式：UserCF公式：其中，S(u,k)表示和用户u兴趣最接近的K个用户集合；N(i)表示对物品i有过正反馈的用户集合；w(u,v)表示用户u和用户v的兴趣相似度；r(
转载
2024-07-25 07:36:10
29阅读
通常情况下，全文检索引擎我们一般会用ES组件（传送门：SpringBoot系列——ElasticSearch），但不是所有业务都有那么大的数据量、那么大的并发要求，MySQL5.7之后内置了ngram分词器，支持中文分词，使用全文索引，即可实现对中文语义分词检索MySQL支持全文索引和搜索： MySQL中的全文索引是FULLTEXT类型的索引。 全文索引只能用于InnoDB或MyISAM表，并
转载
2024-07-22 10:39:18
333阅读
NLP 中，文本匹配技术，不像 MT、MRC、QA 等属于 end-to-end 型任务，通常以文本相似度计算、文本相关性计算的形式，在某应用系统中起核心支撑作用，比如搜索引擎、智能问答、知识检索、信息流推荐等。本篇将纵览文本匹配的技术发展，并重点介绍文本语义相似度计算技术，以及多轮对话场景中的文本语义相似度计算技术。1、文本匹配任务在真实场景中，如搜索引擎、智能问答、知识检索、信息流推荐等系统中
转载
2023-10-17 09:16:44
199阅读
因为最近在做短文本匹配的项目，所以，简单的记个笔记。短文本匹配，即计算两个短文本的相似度。从广义分，可以分为无监督方式，有监督方式，有监督和无监督结合方式。具体实现，可以使用两个算法库，分别是MatchZoo和text_matching，在github上以上两个算法都开源了。1.无监督方式。通过模型训练语料得到词向量，如word2vec，glove等模型。然后通过对文本进行分词，通过look up
转载
2023-12-15 10:21:16
197阅读
在前一篇文章 《海量数据相似度计算之simhash和海明距离》 介绍了simhash的原理，大家应该感觉到了算法的魅力。但是随着业务的增长 simhash的数据也会暴增，如果一天100w，10天就1000w了。我们如果插入一条数据就要去比较1000w次的simhash，计算量还是蛮大，普通PC 比较1000w次海明距离需要 300ms ，和5000w数据比较需要1.8 s。看起来相似度计算不是很慢
1、子 查 询 特点： ①使用灵活，可以成为SQL语句的多个部分 ②降低SQL的语句的复杂度，提高SQL语句的可读性/*----------------------------------------子 查 询-----------------------------------------------------*/ &n
# MySQL字段相似度匹配：一项数据处理的重要技术
在处理大规模数据时，我们常常需要比较不同表格中的字段，寻找相似数据。这种需求在许多领域都有广泛应用，尤其是在数据库管理、数据分析和机器学习中。本文将介绍如何在MySQL中实现字段相似度匹配，并给出代码示例来帮助读者更好地理解这一过程。
## 什么是字段相似度匹配
字段相似度匹配是指识别并比较数据库中不同记录、字段或对象之间的相似性。其目的
一、bm25的应用和基础医学领域，BM25算法的应用，文档分类，相似度识别以及疾病、手术等实体的相似度匹配。文档的处理相对简单，可以直接调用相关算法包，实体单词的相似度匹配需要对文本做相关的处理。对比研究，在文档中，表示特征的主要是单词，而在实体名词（疾病、手术、药品名称）中，表示特征的是字或者由n-gram切分的元素，当用字表示特征时，文本的语义会丢失，所以我建议用字和n-gram（n>=
转载
2023-12-12 22:27:56
64阅读
在我们日常开发过程中有时遇到需要对标题内容进行关键字检索匹配排序，一般我们常用"like"直接做了模糊查询，但是这种模糊查询没有做到关键词匹配度查询。下面我整理两种我在开发中用到两种取巧的做法:做法一：利用数据库like关键词进行第一步匹配出包含关键词的数据，然后利用关键词在所在语句长度和关键词长度做对比，得到比重越大的说明关键字在语句中越重要，这里没有考虑一句话里面包含关键词多次的情况，sele
转载
2024-04-26 08:56:39
71阅读
大数据系统与大规模数据分析学习笔记（相似度计算） 寻找相似项过程：1. Jaccard相似度 定义 Jaccard 相似度计算公式：J(A,B)=(A交B)/(A并B)2. shingling将文档用短字符集合来表示2.1 k-shinglecharacter 级别：包括空格word 级别：不包括空格和逗号句号符2.2 k 值大小的选择如果文档由邮件组成，那么选择 k = 5 比较合适。如果文档比
转载
2024-04-12 12:26:58
160阅读
目录1. 距离准则2. 余弦相似度和余弦距离2.1 余弦距离2.2 欧式距离3. 与欧式距离的区别参考资料 1. 距离准则在聊接下去的内容之前，我们首先要了解一个概念，叫距离准则：距离准则有欧氏距离，Jaccard相似度，余弦相似度，Pearson相似度欧式距离 就是指在 余弦相似度Jaccard相似度 是用于比较有限样本集之间的相似性与差异性，其中 Jaccard 系数值越大，样本相似度越高。
转载
2024-01-28 00:31:52
94阅读
0 引言问题背景：大量的工程实践表明，点云匹配关系的求解是一个非常复杂而困难的问题。其核心点在于找到一种映射方法，该方法将某个点映射到一个有限m维的特征向量，
A = {a1，a2，a3，…，am}. 基于某种距离度量的方法，比如欧式距离法，计算A与任意某B的距离值距离值为distance = |A-B|.若A与B的距离值与两点在几何及
拓扑上的相似性呈正相关，该相关系数越接近1（或者-1，效果相
转载
2024-04-29 18:06:18
168阅读
模板匹配最近准备把学过的一些知识整理写成博客，加深印象。 模板匹配是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象物，这就是一个匹配问题。它是图像处理中最基本、最常用的匹配方法。模板匹配具有自身的局限性，主要表现在它只能进行平行移动，若原图像中的匹配目标发生旋转或大小变化，该算法无效。普通的模板匹配方法属于暴力搜索法，通过将模板图像不断在搜索图上移动，计
转载
2023-10-28 11:53:08
177阅读
今天的产品涉及到一个相似度匹配算法，上网查了这类算法很多。跟研发讨论，研发推荐使用余弦值相似度算法。余弦值相似度算法是个什么算法？余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。 余弦值越接近1，也就是两个向量越相似，这就叫"余弦相似性"，余弦值越接近0，也就是两个向量越不相似，也就是这两个字符串越不相似。 是不是更加云里雾里了
转载
2023-09-23 17:07:30
176阅读
数据相似性检测算法
1、引言 "数据同步算法研究"一文研究了在网络上高效同步数据的方法，其中有个前提是文件A和B非常相似，即两者之间存在大量相同的数据。如果两个文件相似性很低，虽然这种方法依然可以正常工作，但数据同步性能却不会得到提高，甚至会有所降低。因为会产生部分元数据和网络通信消耗，这在两个文件完全不相关时尤为明显。因此，同步数据前需要计算种子文件(seed file
转载
2023-11-17 15:28:26
397阅读
前言基于深度学习的人脸识别系统，一共用到了5个开源库：OpenCV(计算机视觉库)、Caffe(深度学习库)、Dlib(机器学习库)、libfacedetection(人脸检测库)、cudnn(gpu加速库)。用到了一个开源的深度学习模型：VGG model。最终的效果是很赞的，识别一张人脸的速度是0.039秒，而且最重要的是：精度高啊！！！CPU：intel i5-4590GPU：GTX 980
