python中 is 和 == 的区别
都用来判断两个变量是否相等，区别在：
is : 判断两个变量的引用是否相等。 值相等，引用不一定相同.
==： 判断两个变量的值是否相等。 如果引用相同，则值一定相等.
a = 1
b = 1
print(id(a)) # 1575434496
print(id(b)) # 1575434496
print(a is b) # True
print
转载
2024-05-29 00:05:57
34阅读
# 如何实现“Python 文本相加”
## 1. 流程概述
在Python中实现文本相加主要是通过字符串拼接来实现的。下面是实现文本相加的步骤：
| 步骤 | 操作 |
|------|----------------------|
| 1 | 创建两个文本字符串 |
| 2 | 将两个文本字符串相加 |
| 3 | 输出结果
原创
2024-05-10 06:50:55
47阅读
文本匹配是NLU中的一个核心问题，虽然基于深度学习的文本匹配算法大行其道，但传统的文本匹配算法在项目中也是必要的。本文详解了传统的文本匹配算法Jaccard、Levenshtein、Simhash、Bm25、VSM的原理及其代码分享给大家，若有不足之处，请大家指出。1. 概述 在实际工程项目，不论是基于交互的还是基于表示的文本匹配，往往都会结合传统的字面匹配算法来综合评估两段文本的
转载
2024-02-29 11:19:47
122阅读
在自然语言处理中，文本相似度是一种老生常谈而又应用广泛的基础算法模块，可用于地址标准化中计算与标准地址库中最相似的地址，也可用于问答系统中计算与用户输入问题最相近的问题及其答案，还可用于搜索中计算与输入相近的结果，扩大搜索召回，等等。基于此，现将几种常见的文本相似度计算方法做一个简单总结，以便后续查阅，本文所有源码均已上传到github。1.字符串相似度字符串相似度指的是比较两个文本相同字符个数，
转载
2023-08-04 12:10:57
741阅读
应用现今，文本分类在生活中有非常多的应用： 我们经常使用的百度，每次输入关键词或关键句，搜索系统匹配与输入相似的文本，反馈给我们想要看到的词条； 或是使用的翻译工具，利用语句中每个词的语法和语义来分析，文本相似度直接影响到了翻译语句的准确性； 再就是一些论文检测，通过对两份文本提取的关键词进行相似度分析，得出文本相似度，以检测是否存在文章抄袭的可能。原理大体上文本分类原理可以分为：
转载
2023-09-17 09:08:32
170阅读
为此我们需要一种应对于海量数据场景的去重方案，经过研究发现有种叫 local sensitive hash 局部敏感哈希 的东西，据说这玩意可以把文档降维到hash数字，数字两两计算运算量要小很多。查找很多文档后看到google对于网页去重使用的是simhash，他们每天需要处理的文档在亿级别，大大超过了我们现在文档的水平。既然老大哥也有类似的应用，我们也赶紧尝试下。simhash是由 Chari
转载
2024-04-19 14:26:23
71阅读
个人项目：论文查重这个作业要求在哪里传送门https://github.com/asiL-tcefreP/-software-engineering-2/tree/master一、模块接口的设计与实现过程1.1 算法来源文本相似度计算常用于网页去重以及NLP里文本分析等场景。文本相似度，可以分为两种，一种是字面相似度，另一种是语义相似度。本文记录的是文本的字面相似度的计算及实现，语义相似度计算则需
转载
2023-11-01 19:21:35
0阅读
文本相似度算法的对比及python实现前言通常我们有这样的需求：对两篇文章或者产品内容进行重复率查询。为了解决类似的问题，罗列了一些常见的相似度算法，用python代码实现。五种常见的相似度算法：余弦相似度（cosine_similarity）、jaccard相似度、编辑距离（Levenshtein）、MinHash、SimHash + 海明距离。代码是一位前辈留下的，做一下整理分享出来。算法的具
转载
2023-08-30 12:35:19
269阅读
编程：所用python的包下的gensim。 编程路径： 1.读取文档 2.对要计算的文档进行分词 3.把文档按照空格整理成一个超长的字符串 4.计算词语出现的频率 5.对频率低的词进行过滤，如果文档过小就不用选，过大的话把频率过低的词过滤后，在更快计算 6.通过语料库建立词典 7.加载要对比的文档 8.将要对比的文档通过doc2bow转化为稀疏向量 9.对稀疏向量进行处理，获得新语料库 10.将
转载
2023-10-13 12:34:02
239阅读
1、文本相似度计算的需求始于搜索引擎。搜索引擎需要计算“用户查询”和爬下来的众多”网页“之间的相似度，从而把最相似的排在最前返回给用户。2、主要使用的算法是tf-idftf：term frequency 词频idf：inverse document frequency 倒文档频率主要思想是：如果某个词或短语在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力
转载
2023-12-06 19:27:15
120阅读
文本相似度对比计算代码获取-更多实战项目见文章底部官网数据格式以及内容代码流程以及设计加载读取数据处理文本数据文本数据对比全部代码示例 本文主要解决的问题是给定一个语料库，这里语料库记录对比的问题，然后用户输入文本，计算语料库中哪一条文本与用户输入最为相似。 数据格式以及内容语料库主要用来做参考对比的基础数据，数据格式如下（base_content.csv）：,key_text
0,我今天用了
转载
2023-12-10 11:54:52
73阅读
NLP文本相似度相似度相似度度量：计算个体间相似程度相似度值越小，距离越大，相似度值越大，距离越小最常用--余弦相似度：一个向量空间中两个向量夹角的余弦值作为衡量两个个体之间差异的大小余弦值接近1，夹角趋于0，表明两个向量越相似如果向量a和b不是二维而是n维示例句子1：这只皮鞋号码大了，那只号码合适句子2：这只皮鞋号码不小，那只更合适分词 句子1：这只/皮鞋/号码/大了，那只/号码/合适句子2：这
转载
2023-09-16 21:04:12
398阅读
文本分析—余弦相似度计算一、余弦相似度简介欧几里得点积公式：a · b = || a || || b || cosθ 我们从图中可以看出，利用两个向量之间夹角的余弦值来代表两个向量之间的差异。 那么对于文本来说，如何将文本转换成可以计算的向量二、文本余弦相似度 我们从文本出发，首先需要对文本进行预处理，包括分词、去停用词等等操作，接着将文本进行向量化，这样才可以进行后续的余弦相似度计算。三、代码实
转载
2023-11-02 09:12:07
78阅读
最近两天涉及到订单文本的问题，英文的能取到，中文的取不到。 正常维护文本是可以选语言的（或者根据登录语言自动更改），比如：但是有些进去的时候是ct都是
原创
2022-06-10 20:25:46
92阅读
目录：问题LD算法Needleman/Wunsch算法Nakatsu算法 问题字符串s1 和 字符串s2 的比较算法 ==> 相似度 or 差异性。主流的算法有两大类：基于编辑距离基于最长公共子串 LD算法LD算法（Levenshtein Distance）又称为编辑距离算法（Edit Distance）：以字符串A通过插入字符、删除字符、替换字符变成另一个字符串B，其中
转载
2023-08-03 16:07:48
142阅读
在开始阅读本篇之前，希望你已经看过cnn-text-classification-tf，使用CNN做文本分类项目，start两千多。因为很经典，网上的解读也随处可见，因此就不介绍。但是看了这个项目，可以了解tensorflow构建项目的关键步骤，可以养成良好的代码习惯，这在初学者来说是很重要的。Tensorflow中关键的两个步骤，首先对数据进行处理，转化为合适的tensor作为input输入到图
转载
2023-10-12 12:27:31
95阅读
1.百度百科介绍： Levenshtein 距离，又称编辑距离，指的是两个字符串之间，由一个转换成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。 编辑距离的算法是首先由俄国科学家Levenshtein提出的，故又叫Levenshtein Distance。 2.用途 模糊查询 3.实现过程 a.首先是有两个字符串,这里写一个简单的 abc
转载
2024-06-17 07:50:37
26阅读
文本比较算法Ⅰ——LD算法
在日常应用中，文本比较是一个比较常见的问题。文本比较算法也是一个老生常谈的话题。 文本比较的核心就是比较两个给定的文本（可以是字节流等）之间的差异。目前，主流的比较文本之间的差异主要有两大类。一类是基于编辑距离（Edit Distance）的，例如LD算法。一类是基于最长公共子串的（Longest Common Sub
转载
2023-11-21 10:46:58
66阅读
在处理数据时，有时需要找出数据中存在错误的数据或者对数据进行去重。对数据去重，如果存储在数据库中，我想一个sql就可以搞定，可是要找出数据中错误的数据，就比较困难，一般只能人工判断。举例：比如有一批账单中，存储的都是企业的名称，但想统计一下具体真正的有多少企业，我们可能会说，如果是数据库中，直接distinct一下不就出来了？对，我们可以使用distinct把重复的企业去掉，但是看看留下的企业名称
转载
2023-11-20 08:58:12
119阅读
方法1：无监督，不使用额外的标注数据average word vectors：简单的对句子中的所有词向量取平均，是一种简单有效的方法，缺点：没有考虑到单词的顺序，只对15个字以内的短句子比较有效，丢掉了词与词间的相关意思，无法更精细的表达句子与句子之间的关系。tfidf-weighting word vectors：指对句子中的所有词向量根据tfidf权重加权求和，是常用的一种计算sentence
转载
2023-10-31 17:30:06
159阅读
