时值毕业季，有不少小伙伴深受论文查重的困扰。因此我便想到做一个简单的自动去重的工具，先看看效果，我们再对原理或是代码实现做进一步的分析。首先需要输入appid以及key，这些可以在百度翻译开放平台申请一个账号，可以免费申请一个账号。接着将需要进行降重的文本内容复制到相应的输入框内，点击开始按钮，即可输出不同但意思相近的语句，即达到降重去重的作用。点击复制按钮便可以将得到的新文本复制到剪贴板上，点击
转载
2024-05-29 23:09:07
64阅读
原始语料格式：一个文件，一篇文章。 #!/usr/bin/env python
# -*- coding: UTF-8 -*-
import jieba
from gensim import corpora,models,similarities
import codecs
def cut_words(file):
with open(file, 'r',encoding="utf
转载
2024-08-08 19:42:10
64阅读
# Python取两段文本中间的内容
在处理文本数据时，有时候我们需要从两段文本中提取出它们之间的内容。这种操作在文本处理、数据清洗以及爬虫等领域中非常常见。Python提供了多种方法实现这一功能，本文将介绍其中几种常用的方法，并给出相应的代码示例。
## 方法一：使用正则表达式
正则表达式是一种用来匹配字符串的强大工具，可以用来提取各种格式的文本信息。在Python中，我们可以使用re模块
原创
2023-08-23 12:06:28
463阅读
文章目录1. 闵可夫斯基距离 Minkowski Distancep=1时 曼哈顿距离 Manhattan Distancep=2时 欧氏距离 Euclidean Distance标准化欧氏距离Standardized Euclidean Distancep->∞ 切比雪夫距离 Chebyshev Distance2.余弦相似度 Cosine Similarity修正余弦相似度 Adjus
# Python两段break
在Python编程中，我们经常会遇到需要跳出循环的情况。Python提供了两种关键字来实现循环的中断，分别是`break`和`continue`。本文将详细介绍这两个关键字的使用方法和区别，并提供代码示例来帮助读者更好地理解。
## `break`关键字
`break`关键字用于跳出当前循环，并执行循环之后的代码。它可以用于`for`循环和`while`循环中
原创
2023-09-11 06:34:48
66阅读
喵喵喵，好久不见啦。首先很抱歉大家期待的调参手册（下）迟迟没有出稿，最近两个月连着赶了4个DDL，整个人都不好了。最近几天终于有时间赶一下未完成的稿子了。在赶DDL的时候夹着写了这篇文章，就先发布这一篇吧～调参手册（下）不出意外的话最近也可以发布啦。本文由来一年前在知乎上关注过这么一个问题：如何判断两段文本说的是「同一件事情」？-知乎https://www.zhihu.com/question/5
原创
2020-12-23 14:18:14
411阅读
本篇博客，主要是描述一种计算文本相似度的算法，基于TF-IDF算法和余弦相似性。算法的描述请务必看阮一峰的博客，不然看不懂本篇博客，地址：http://www.ruanyifeng.com/blog/2013/03/tf-idf.htmlhttp://www.ruanyifeng.com/blog/2013/03/cosine_similari
年底了，这次把所有版本的多表合并方法都集齐了 。
下图是一份全年12个月的明细数据，每个月份格式都一样，存在插入表格或者筛选状态。现在要将这些数据全部合并，用手工复制粘贴是很麻烦的，而用PQ如果不熟，会出现重复数据。
1.Excel2016以上版本 Step 01 新建一个工作簿，点数据→获取数据(有的版本叫新建查询)→从文件→从工作簿，浏览
转载
2023-09-24 19:40:53
87阅读
package com.wlkj.test;import java.text.NumberFormat;import java.util.Locale;public class SimilarTest { public static void main(String[] args) { String strA = "我喜欢你"; String strB = "
原创
2021-07-27 18:00:53
210阅读
喵喵喵，好久不见啦。首候夹着写了这篇文章...
原创
2023-07-25 20:09:42
52阅读
如何使用Python分割最后两段
## 1. 引言
在开发过程中，我们经常会遇到需要分割字符串的情况。本文将教会你如何使用Python来分割最后两段字符串。
## 2. 分割最后两段的流程
下面是分割最后两段字符串的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 获取原始字符串 |
| 2 | 分割字符串 |
| 3 | 获取最后两段字符串 |
接下来，我们将逐步介
原创
2024-01-23 04:45:48
58阅读
注：学习笔记基于文彤老师文本挖掘的系列课程全文基于《射雕英雄传》语料库，下面是读入数据的一个基于Pandas的通用操作框架。#准备工作，具体可参照学习笔记一，将处理的文章分章节
import pandas as pd
# 有的环境配置下read_table出错，也可用用read_csv
raw = pd.read_table("金庸-射雕英雄传txt精校版.txt",
目录整体框架1. 查询文本切分策略2. 文本相似性计算2.1 计算粒度2.2 相似性度量算法2.3 整体相似度的评估文本相似度simhash算法及原理简介1. 什么是SimHash2. SimHash的计算原理3. 相似度判断4. 大规模数据下的海明距离计算开源代码实现整体框架文本查重需要考虑的问题：注意：章节序号对查重结果的影响 1. 查询文本切分策略考虑到如下几个问题：（1）百度搜索
转载
2024-01-08 16:36:18
305阅读
# 如何实现Java比较两段文本相似度
## 1. 流程概述
在实现Java比较两段文本相似度的过程中，我们可以采用以下步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 读取两段文本内容 |
| 2 | 对文本进行文本预处理，如去除空格、标点符号等 |
| 3 | 将文本转换为向量表示 |
| 4 | 计算向量之间的相似度 |
## 2. 具体操作
### 步骤
原创
2024-05-27 05:22:28
609阅读
# Python两段json对比
## 概述
在开发过程中，经常需要对比两段JSON数据的差异，以便进行数据分析、同步等操作。本文将详细介绍如何使用Python对比两段JSON数据，并找出它们之间的差异。
### 流程概述
下面是对比两段JSON数据的流程概述：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 加载两段JSON数据 |
| 2 | 比较两段JSON数据 |
原创
2024-06-29 06:36:08
118阅读
# 计算两段文本的相似度
在文本处理领域，计算两段文本的相似度是一个常见的问题。通过比较两段文本之间的相似性，我们可以判断它们是否在内容上相近。在这篇文章中，我们将介绍如何使用Java编程语言来计算两段文本的相似度。
## 文本相似度计算方法
文本相似度的计算方法有很多种，其中最常见的方法是使用余弦相似度。余弦相似度是通过计算两个向量之间的夹角来度量它们之间的相似度。在文本处理中，我们可以将
原创
2024-04-26 06:38:13
198阅读
本编文章是方法论-主要给大家介绍原理思路简单讲解基于关键词的空间向量模型的算法，将用户的喜好以文档描述并转换成向量模型，对商品也是这么处理，然后再通过计算商品文档和用户偏好文档的余弦相似度。文本相似度计算在信息检索、数据挖掘、机器翻译、文档复制检测等领域有着广泛的应用。比如舆论控制，我们假设你开发了一个微博网站，并且已经把世界上骂人的句子都已经收录进了数据库，那么当一个用户发微博时会先跟骂人句子的
# 两段锁（Two-Phase Locking）在 Java 中的应用
## 什么是两段锁？
两段锁（Two-Phase Locking）是一种用于并发控制的技术，旨在确保多个事务能够并发地访问共享资源，而不会发生数据不一致的情况。在两段锁中，事务需要遵循两个阶段：加锁阶段和解锁阶段。
在加锁阶段，事务可以获取需要的锁资源，并且锁资源之间会有一定的顺序。只有当所有的锁资源都被获取之后，事务才
原创
2023-07-28 04:33:24
129阅读
论文查重检测是怎么样的一个流程？当我们第一次接触新事物时，我们都会感到奇怪。很多人不知道如何解决这些问题。有人选择在网上搜索百度，也有人选择找人咨询。当毕业生第一次面临查论文查重检测时，大部分人都会先自己进行查重检测。但如何进行查重检测变得让人有点焦灼。今天，小编跟跟大家分享下论文查重检测的流程及方法。当你在一个网站进行重新检测时，首先你会在网站上遇到许多栏目。那如何进行选择功能？这是
转载
2023-10-03 16:03:42
89阅读
前言文章抄袭在互联网中普遍存在，很多博主都收受其烦。近几年随着互联网的发展，抄袭等不道德行为在互联网上愈演愈烈，甚至复制、黏贴后发布标原创屡见不鲜，部分抄袭后的文章甚至标记了一些联系方式从而使读者获取源码等资料。这种恶劣的行为使人愤慨。本文使用搜索引擎结果作为文章库，再与本地或互联网上数据做相似度对比，实现文章查重；由于查重的实现过程与一般情况下的微博情感分析实现流程相似，从而轻易的扩展出情感分析
转载
2023-09-10 17:05:11
134阅读
