摘要：代码抄袭现象非常普遍,在C语言课程作业中表现尤其严重,代码抄袭检测给教师带来了繁重的工作负担,降低了教学质量.如何利用计算机自动地,准确地检测代码抄袭是亟待解决的问题. 分析大量C语言课程作业源代码内部逻辑结构,提出基于结构树的代码结构比较算法,并以此为数据源对算法进行了实验验证,发现结构相似的代码之间抄袭概率较大. 研究C语言初学者常用的代码抄袭方式,发现最常用的有四种:添加,删除,修改注
转载
2024-01-20 06:44:42
57阅读
ElasticSearch 2 (16) - 深入搜索系列之近似度匹配摘要标准的全文搜索使用TF/IDF处理文档、文档里的每个字段或一袋子词。match 查询可以告诉我们哪个袋子里面包含我们搜索的术语，但这只是故事的一部分。它并不能告诉我们词语之间的关系。考虑下面句子的区别：Sue ate the alligator.The alligator ate sue.Sue never goes any
转载
2024-01-01 20:26:32
99阅读
# Java 相似度匹配工具类：探索字符串相似性
在众多应用场景中，字符串的相似性匹配是一项非常重要的技术。无论是搜索引擎的模糊搜索，还是自然语言处理中的文本比较，了解如何计算字符串之间的相似度都显得尤为重要。本文将介绍一个简单的Java相似度匹配工具类，帮助开发者轻松实现字符串相似度的计算。
## 1. 相似度匹配的定义
相似度匹配是指两个字符串在某种程度上相似的程度测量。通常使用的相似度
原创
2024-10-15 03:41:27
183阅读
word2vec的原理及实现方式、训练优化方式前文已做详细介绍，这里不再累赘。这里主要记录NLP文本相似度(word2vec)怎样实现的及实现结果。怎样实现：在问答系统（KBQA）中输入一个query，比如query为“贪污公款被捕后要还钱吗”？是怎么匹配到知识库中的最相近的一条问题并返回相对应的答案呢？利用word2vec进行句子相似度计算，是先将输入query，进行分词，把目标句子的各个词的词
转载
2023-10-20 19:00:26
52阅读
/**
* 相似度匹配算法
* （据说）由俄国人Vladimir Levenshtein在1965年发明
* 原理：返回将第一个字符串转换(删除、插入、替换)成第二个字符串的编辑次数。
* 次数越少，意味着字符串相似度越高
*/
public class Test {
public static void main(String[] args) {
转载
2023-05-24 16:27:03
146阅读
前言本文的设计思想以及算法的使用都是基于以下两篇文章。《Winnowing: Local Algorithms for Document Fingerprinting》《程序代码相似度度量算法研究_邓爱萍》我在邓爱萍的文章挑选了一种算法，最后实验了相似度的计算问题。算法的思路《Winnowing: Local Algorithms for Document Fingerprinting》在这篇文章
转载
2023-12-01 20:02:30
47阅读
《娜璋带你读论文》系列主要是督促自己阅读优秀论文及听取学术讲座，并分享给大家，希望您喜欢。前一篇文章介绍Excel论文可视化分析基础知识。这篇文章将带来AAAI20腾讯科恩实验室的经典工作——Order Matters，提出语义感知（Semantic-Aware）神经网络来实现二进制代码相似性检测，希望这篇文章对您有所帮助。一方面自己英文太差，只能通过最土的办法慢慢提升，另一方面是自己的个人学习笔
转载
2024-05-25 17:19:13
65阅读
目录一、什么是LCS子序列最长公共子序列二、LCS的应用场景三、LCS的查找方法1. 动态规划法计算LCS的长度和两字符串的相似度2. 回溯算法查找LCS四、代码实现 一、什么是LCS子序列子序列:一个序列S任意删除若干个字符得到的新序列T，则T叫做S的子序列最长公共子序列最长公共子序列（Longest Common Subsequence）：两个序列X和Y的公共子序列中，长度最长的那个，定义为
转载
2023-08-02 09:11:28
186阅读
今天的产品涉及到一个相似度匹配算法，上网查了这类算法很多。跟研发讨论，研发推荐使用余弦值相似度算法。余弦值相似度算法是个什么算法？余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。 余弦值越接近1，也就是两个向量越相似，这就叫"余弦相似性"，余弦值越接近0，也就是两个向量越不相似，也就是这两个字符串越不相似。 是不是更加云里雾里了
转载
2023-09-23 17:07:30
176阅读
代码相似度计算框架调研研究现状代码相似度计算是一个已有40年研究历史的问题了。它的应用范围广泛，主要包括代码抄袭检测[3]、软件维护中的相似代码查找等。 Whale[1]于1988年首次提出一个代码相似性检测的通用框架和步骤，将检测过程分为以下两个阶段：代码格式转换 + 相似度确定后来很多检测方法都参考这一框架，并将检测过程细分为四个部分：预处理 -> 中间代码转换 -> 比较单元生成
转载
2023-12-13 00:46:30
113阅读
之前遇到一个需求需要做数据筛选上报以便控制峰值，我们想从集合中选取出变化最大的记录上传，集合的个数、集合类型、或者集合类元素的类型都不确定，于是在网上寻找相关的功能代码，奈何没找到，于是自己写了一个定义相似度计算基本规则如果比较的对象实现了接口相似度方法的情况下直接调用方法计算相似度，接口如下：
public interface Similarity<T> {
double c
转载
2023-07-17 21:46:13
257阅读
数据相似性检测算法
1、引言 "数据同步算法研究"一文研究了在网络上高效同步数据的方法，其中有个前提是文件A和B非常相似，即两者之间存在大量相同的数据。如果两个文件相似性很低，虽然这种方法依然可以正常工作，但数据同步性能却不会得到提高，甚至会有所降低。因为会产生部分元数据和网络通信消耗，这在两个文件完全不相关时尤为明显。因此，同步数据前需要计算种子文件(seed file
转载
2023-11-17 15:28:26
397阅读
# Java相似度匹配
在软件开发中，我们经常需要对文本进行相似度匹配。相似度匹配可以用于搜索引擎、文本分类、信息检索等领域。Java提供了一些库和算法，可以帮助我们实现相似度匹配的功能。本文将介绍一些常用的相似度匹配算法，并给出相应的Java代码示例。
## 1. 余弦相似度
余弦相似度是一种常用的文本相似度计算方法。它可以计算两个向量之间的夹角余弦值，值越大表示相似度越高。在Java中，
原创
2023-07-23 13:19:44
179阅读
推荐算法准确度度量公式：其中，R(u)表示对用户推荐的N个物品，T(u)表示用户u在测试集上喜欢的物品集合。集合相似度度量公式(N维向量的距离度量公式)：Jaccard公式：其中，N(u)表示用户u有过正反馈的物品集合。余弦相似度公式：UserCF公式：其中，S(u,k)表示和用户u兴趣最接近的K个用户集合；N(i)表示对物品i有过正反馈的用户集合；w(u,v)表示用户u和用户v的兴趣相似度；r(
转载
2024-07-25 07:36:10
29阅读
# 相似度匹配 Java 实现指南
## 1. 流程概述
相似度匹配的任务通常分为以下几个步骤：
| 步骤 | 描述 |
|------|---------------------------|
| 1 | 确定相似度计算的方法 |
| 2 | 准备数据 |
| 3 | 实现相似度计算的代码
因为最近在做短文本匹配的项目，所以，简单的记个笔记。短文本匹配，即计算两个短文本的相似度。从广义分，可以分为无监督方式，有监督方式，有监督和无监督结合方式。具体实现，可以使用两个算法库，分别是MatchZoo和text_matching，在github上以上两个算法都开源了。1.无监督方式。通过模型训练语料得到词向量，如word2vec，glove等模型。然后通过对文本进行分词，通过look up
转载
2023-12-15 10:21:16
197阅读
SimHash原理1.SimHash背景SimHash算法来自于 GoogleMoses Charikar发表的一篇论文“detecting near-duplicates for web crawling” ，其主要思想是降维， 将高维的特征向量映射成低维的特征向量，通过两个向量的Hamming Distance（汉明距离）来确定文章是否重复或者高度近似。Hamming Distance： 又称
转载
2023-11-23 21:24:28
55阅读
一.PMD/CPD介绍PMD是一个源代码分析器。它寻找常见的编程缺陷，例如未使用的变量、空的catch块、多余的对象创建等等。支持Java、JavaScript、Salesforce.com Apex、PLSQL、Apache Velocity、XML、XSL。另外，它包含CPD（copy-paste-detector），一个复制粘贴检测器。CPD寻找重复的代码，支持Java、C、C++、C#、G
转载
2023-08-26 12:49:16
1189阅读
一、fuzzywuzzy 介绍：JavaWuzzy是Java版的FuzzyWuzzy，用于计算字符串之间的匹配度。 FuzzySearch.ratio(String s1, String s2) 全匹配，对顺序敏感 FuzzySearch.partialRatio(String s1, String s2) 搜索匹配(部分匹配)，对顺序敏感 FuzzySearch.tokenSortRatio(S
转载
2023-10-31 22:55:29
224阅读
在Java中，要计算两个字符的相似度，可以借助一些字符串相似度算法。以下是几种常见的字符串相似度算法：Levenshtein距离：也称为编辑距离，用于计算两个字符串之间的最小编辑操作次数（插入、删除、替换）来转换一个字符串为另一个字符串。编辑距离越小，表示两个字符串越相似。import org.apache.commons.text.similarity.LevenshteinDistance;
转载
2024-06-01 05:16:27
90阅读
