参考文章：July 的从头到尾彻底理解KMP字符串模式匹配：在一个文本（长字符串）中找出一个或多个指定的字符串（Pattern），并返回其位置。
下面介绍几种字符串模式匹配算法：Brute-Force算法、KMP算法、BM算法、Sunday算法文本字符串S，索引 i ，模式字符串P，索引 j字符串匹配算法之BF算法： 基本思路：假设文本串S比较到i位置，模式串P
文本纠错–CRASpell模型CRASpell: A Contextual Typo Robust Approach to Improve Chinese Spelling Correction 这篇论文是发表于22年ACL，在Chinese spelling correction (CSC)任务上是SOTA。基于bert预训练模型的CSC的模型有两个极限： (1) 在多错误文本上模型效果不好，通
转载
2024-05-12 18:35:49
46阅读
引言 实体作为现实世界知识的重要载体，在许多 NLP 任务中发挥着关键作用，许多实体密集型 NLP 任务需要模型获取实体知识以生成信息输出。现有方法大多采用索引、检索和读取外部文档来获取实体知识，但是这样需要很大的计算开销。为此本文提出了一个带有实体内存(Memory)的Encoder-Decoder框架，即EDMem。关注 AINLPer公众号，回复：历年EMNLP 获取论文下载列表背景介绍 大
转载
2023-09-18 16:13:23
70阅读
深度文本匹配方法近期在看有关于相似文本检索的论文，但是发现这个方向模型和论文太多，为了方便自己看，简单做了个整理。匹配方法可以分为三类：基于单语义文档表达的深度学习模型（基于表示）基于单语义文档表达的深度学习模型主要思路是，首先将单个文本先表达成一个稠密向量（分布式表达），然后直接计算两个向量间的相似度作为文本间的匹配度。基于多语义文档表达的深度学习模型（基于交互）基于多语义的文档表达的深度学习模
转载
2023-07-06 15:11:32
659阅读
文本匹配工具RuleFinder 文本匹配工具是一个用于快速编写匹配规则，提取文本的工具。 源码地址： https://github.com/xmxoxo/RuleFinder当前版本号：0.1.12update: 2020/6/12本工具包括：类库，规则编辑器，批量提取器。RuleLib.py 类库，可自行引用到项目中使用；
RuleEditor.py 规则编辑器，基于flask的WEB应用，
转载
2023-11-26 11:11:03
90阅读
文本匹配是NLP中的重要基础任务，宽泛的讲，任何评判两句话之间关系的问题都可视为文本匹配问题。其应用领域包括但不限于：（1）句子相似度（sentence similarity）/句子复述（paraphrase identification）判断两段文本是否为含义相同，这是一个典型的二分类问题（2）然语言推理（Natural Language Inference）/文本蕴含识别（Textual En
转载
2023-12-14 01:49:13
99阅读
所有的模型均采用tensorflow进行了实现，欢迎start，[代码地址]https://github.com/terrifyzhao/text_matching简介本文是对论文BiMPM：BilateralMulti-PerspectiveMatchingforNaturalLanguageSentences的解读。该模型主要用于做文本匹配，即计算文本相似度。文本匹配是NLP领域较为常见的技术
转载
2023-09-15 21:52:42
416阅读
文本匹配是NLU中的一个核心问题，虽然基于深度学习的文本匹配算法大行其道，但传统的文本匹配算法在项目中也是必要的。本文详解了传统的文本匹配算法Jaccard、Levenshtein、Simhash、Bm25、VSM的原理及其代码分享给大家，若有不足之处，请大家指出。1. 概述在实际工程项目，不论是基于交互的还是基于表示的文本匹配，往往都会结合传统的字面匹配算法来综合评估两段文
转载
2023-12-29 18:53:51
53阅读
一、任务概述文本匹配任务，是NLP四大任务之一，主要指的是针对两个句子语义相关性，落地应用场景很广泛，对话系统，搜广推、QA问答系统等等。例如在QA问答系统中，举一个很常见的做法，用户假设说，“苹果电脑怎么下载软件”，后台的数据库有成千上万的query-answer的pair对，我们需要从成千上万的候选中，找出一个最佳的匹配对，给用户反馈answer。此时，我们的语义相似度计算的准确性就显得很重要
转载
2023-10-17 19:44:23
149阅读
文章目录前言Bert句向量表示效果为什么不好？Sentence Bert 原理 前言目前，对于大部分的NLP任务来说，通过对预训练模型进行微调的方式已经取得了很好的效果，但对于某些特定的场景，我们常常需要的是文本的表示，比如文本聚类，文本匹配（搜索场景）等等； 对于文本匹配任务，在计算语义相似度时，Bert模型需要将两个句子同时进入模型，进行信息交互。场景一：假如有10000个句子，找出最相似的
转载
2024-03-06 06:47:44
18阅读
来自：NLP从入门到放弃今天分享一个论文ACL2020-tBERT[1]，论文主要融合主题模型和BERT去做语义相似度判定，在特定领域使用这个模型，效果更明显。掌握以下几点：【CLS】向量拼接两个句子各自的主题模型，效果有提升尤其是在特定领域的数据集合会有更好的表现。第二点这个特定领域发现还挺有意思的，感兴趣的可以在自己数据集做个试验扩展。1. 架构图先看架构图： tbert架构图
模
转载
2024-01-17 09:29:01
101阅读
# 如何实现“EMNLP 2023”项目
作为一名刚入行的小白，面对大型项目可能会感到困惑。为了帮助你理解如何实现“EMNLP 2023”这一项目，我们将详细分解整个流程，并为每个步骤提供所需的代码和注释。
## 项目流程
首先，让我们概述一下项目的整体流程。下面是一个简单的表格，显示实现“EMNLP 2023”所需的主要步骤：
| 步骤编号 | 步骤描述 | 详
# 基于EMNLP模板的深度学习科普文章
## 引言
随着人工智能技术的快速发展，深度学习作为机器学习的一个子领域，近几年受到了广泛关注。在这篇文章中，我们将介绍深度学习的基本概念和应用，同时通过简单的代码示例，帮助读者理解其工作原理。
## 一、深度学习基础
深度学习是一种基于人工神经网络的学习方法，特别适用于处理大量、复杂的数据。其基本架构由多层神经元组成，每一层都能提取输入数据的不同
# 机器学习基础：从理论到实战
机器学习是一种使计算机具有学习能力的技术，近年来在各个领域取得了显著的进展。为了帮助大家理解机器学习的基础知识，我们将通过示例和代码来探索这一主题。
## 1. 什么是机器学习？
机器学习是人工智能的一个分支，主要用于开发能够从数据中学习并进行预测的算法。根据学习方式的不同，机器学习可以分为监督学习、无监督学习和强化学习。
- **监督学习**：给定带标签的
# 如何实现“EMNLP Author”功能
在自然语言处理领域的会议上，作者信息的整理与展示是一个重要的任务。在这篇文章中，我将指导你如何实现“EMNLP Author”功能，通过一个简单的流程图和详细的代码示例。
## 整体流程
下面是实现“EMNLP Author”功能的基本步骤：
| 步骤 | 描述 |
|------|---------
文本匹配语义解析:有用吗?一． 定义&背景一些定义
1.1研究两段文本之间关系的问题都可以看做是文本匹配；
1.2当使用文本语义监督训练时，就是 语义相似性匹配问题。 如果使用 行为标签去监督训练，就成了行为相关性匹配问题。
1.3 语义相关性，比如搜索，查询词和文档如果关键字不一样，但两者是多词一义，则模型不理解语义，做语义上的匹配解决不了问题。 在推荐中，商品可以由一个向量来刻画，用
转载
2023-11-13 20:58:56
10000+阅读
传统的文本匹配技术有BoW、VSM、TF-IDF、 BM25、Jaccord、SimHash等算法1、TF-IDF算法介绍 TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘
转载
2023-10-15 23:03:26
163阅读
在正则表达式中，匹配是最最基本的操作。使用正则表达式，换种说法就是“用正则表达式去匹配文本”。但这只是广义的“匹配”，细说起来，广义的“匹配”又可以分为两类：提取和验证。所以，本篇文章就来专门讲讲提取和验证。提取提取可以理解为“用正则表达式遍历整个字符串，找出能够匹配的文本”，它主要用来提取需要的数据，常见的任务有：找出文本中的电子邮件地址，找出HTML代码中的图片地址、超链接地址……提取数据时，
转载
2024-04-15 20:33:54
69阅读
一、简介文本信息可以说是迄今为止最主要的一种信息交换手段，而作为文本处理中的一个重要领域——字符串匹配，就是我们今天要说的话题。（原文还特意提及文本数据数量每18个月翻一番，以此论证算法必须要是高效的。不过我注意到摩尔定律也是18个月翻番，这正说明数据的增长是紧紧跟随处理速度的，因此越是使用高效的算法，将来待处理的数据就会越多。这也提示屏幕前的各位，代码不要写得太快了……） 字符串匹配指
转载
2024-04-14 11:40:54
50阅读
在这篇博文中，我整理了如何解决“EMNLP 中文”方面的一些问题。这包括版本对比、迁移指南、兼容性处理、实战案例、性能优化和生态扩展等内容。希望通过这样的结构，可以帮助大家更清晰地理解这个过程。
### 版本对比
在处理“EMNLP 中文”问题时，不同版本之间的特性差异显得尤为重要。我们可以通过以下的表格来清楚地看到各版本的不同之处。
| 特性 | 版本 1.0 | 版本 1.1
