最近研究了一阵文本数据增强的方法，看到国外有一个小哥写了一篇很不错的博客来总结 NLP 领域数据增强的方法，读完感觉收益颇多，所以周末花了一上午时间翻译了一下全文。
数据增强技术在计算机视觉中应用的比较广泛，但是在 NLP 中却很少能得到有效的应用。本质原因在于图像中的一些数据增强方法，比如将图像旋转几度或将其色度转换为灰度，在增强数据的同时并不会改变图像本身的含义。这种特性使得数据增强成
谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果，这在自然语言处理学界以及工业界都引起了不小的热议。作者通过在33亿文本的语料上训练语言模型，再分别在不同的下游任务上微调，这样的模型在不同的任务均得到了目前为止最好的结果，并且有一些结果相比此前的最佳成绩得到了幅度不小的提升。但是如此好的效果并不是随便突然的一个凭空出现的想法导致的，而是作者结合NLP最近几年表现优异的模型的结果
转载
2023-12-29 23:39:51
108阅读
昨天遇见一位老哥，问我知道哪些NLP增强技术。我一下子懵了，增强技术最早来源于 图像处理，后来在《百面机器学习》这本书中我看见了它的详细解读。NLP的增强技术？其实，以前我也是用过的。 在语音助手的时候，作为输入预料，我首先针对定义进行了语料的数据增强。作为主打模型的TextCNN，其实我们也是有数据增强技术的，为此，我还写过好几次的探索总结。 回来后，我在知乎上看到了关于NLP数据增强的技术，于
转载
2023-12-12 23:27:23
86阅读
NLP文本数据增强热门技术背景word替换同义词替换词向量替换掩码语言模型（Masked Language Model，MLM）基于tfidf的词替换反向翻译文本表面转换随机噪声注入拼写错误例子空白噪声打乱文本句子顺序随机处理（插入、替换、删除）语法树文本混合wordMixupsentMixup 背景CV中有很多简单实用的数据增强方式，如旋转图像、调整RGB等。这些方法在保证图像特征的基础上增加
转载
2024-03-14 17:45:58
379阅读
数据收集直接上一些别人整理的东西：10大类、142条数据源，中文NLP数据集线上搜索开放342个中、英文等NLP开源数据集分享自然语言处理（NLP）数据集整理数据增强数据不够怎么办，常见的数据增强的方法：一文了解NLP中的数据增强方法NLP中数据增强的综述，快速的生成大量的训练数据词汇替换基于同义词典的替换基于 Word-Embeddings 的替换基于 Masked Language Model
转载
2024-05-22 16:03:45
41阅读
数据增强的方法数据增强（Data Augmentation，简称DA），是指根据现有数据，合成新数据的一类方法。毕竟数据才是真正的效果天花板，有了更多数据后可以提升效果、增强模型泛化能力、提高鲁棒性等。然而由于NLP任务天生的难度，类似CV的裁剪方法可能会改变语义，既要保证数据质量又要保证多样性，使得大家在做数据增强时十分谨慎。作者根据生成样本的多样性程度，将数据增强分为以下三种方法：Paraph
转载
2023-08-21 13:51:31
194阅读
什么是数据增强数据增强（Data Augmentation）是一种通过让有限的数据产生更多的等价数据来人工扩展训练数据集的技术。它是克服训练数据不足的有效手段，目前在深度学习的各个领域中应用广泛。但是由于生成的数据与真实数据之间的差异，也不可避免地带来了噪声问题。为什么需要数据增强深度神经网络在许多任务中表现良好，但这些网络通常需要大量数据才能避免过度拟合。遗憾的是，许多场景无法获得大量数据，例如
转载
2024-08-02 20:02:57
62阅读
一、数据增强的背景和应用场景随着AI技术的逐步发展，更好的神经网络模型对数据规模的要求也逐步提升。而在分类任务中，若不同类别数据量相差很大，模型则会出现过拟合现象，严重影响预测的正确性。从广义上来讲，有监督模型的效果相对半监督或无监督学习都是领先的。但是有监督模型需要获取大量的标注数据，当数据需求达到十万、百万甚至更多时，人工标注数据昂贵的代价已经让很多人望而却步。如何利用有限的标注数据，获取到更
转载
2023-12-08 12:42:32
181阅读
目录1 概述2. 方法2.1 随机drop和shuffle2.2 同义词替换2.3 回译2.4 文档裁剪2.5 生成对抗网络2.6 预训练的语言模型1 概述NLP中的数据是离散的。它的后果是我们无法对输入数据进行直接简单地转换，而大多数CV工具则没有这个限制，如domain randomization。 小的扰动可能会改变含义。在NLP中，删掉一个否定词可能会改变整个
转载
2023-09-14 16:32:32
121阅读
（这里将RNN的知识整理到了这里） （梯度boom/下降、过/欠拟合笔记在基础部分）* Task 2 【NLP初识】*文本预处理文本预处理是语言模型的基础，对后续的语言模型有着很大的影响。 文本预处理的过程时间文本中每个token（有时是word有时是char，看需求）转换为向量表示，每个token与向量一一对应（双射）即词向量。最开始用的是one hot方法来构建这样的词向量，但这会造成数据稀疏
转载
2024-02-22 16:46:08
76阅读
文本中的数据增强NLP中小的扰动可能会对含义造成比较大的影响，比如：去掉或改变某个词，会导致整个句子的含义或情感发生巨大偏差。1.随机drop和shuffle drop：对于标题和描述中的字或词,随机的进行删除,用空格代替。另一种是 shuffle, 即打乱词序。对于"如何评价 2017 知乎看山杯机器学习比赛?" 这个问题,使用 drop 对词层面进行处理之后,可能变成"如何 2017 看山杯机
文本摘要提取之前写过一版 文本摘要提取，但那版并不完美。有所缺陷（但也获得几十次收藏）。今天写改进版的文本摘要提取。文本摘要旨在将文本或文本集合转换为包含关键信息的简短摘要。文本摘要按照输入类型可分为单文档摘要和多文档摘要。单文档摘要从给定的一个文档中生成摘要，多文档摘要从给定的一组主题相关的文档中生成摘要。按照输出类型可分为抽取式摘要和生成式摘要。 摘要：意思就是从一段文本 用几句话来概括这段话
转载
2023-09-28 21:57:30
144阅读
# NLP 中文增强
自然语言处理（Natural Language Processing，NLP）是人工智能领域的一个重要分支，旨在使计算机能够理解、处理和生成人类语言。在NLP领域，针对中文文本的处理技术也备受关注，由于中文语言的复杂性和特殊性，中文NLP技术的发展具有一定的挑战性。为了提高中文NLP的处理效率和准确性，研究人员们努力开发各种中文增强技术，旨在优化中文文本的处理和分析。
#
原创
2024-05-29 05:39:01
50阅读
数据增强–目的利用有限的标注数据，获得到更多的标注数据，减少网络中的过拟合现象，训练出泛化能力更强的网络 数据增强起初在计算机视觉领域应用较多，主要是运用各种技术生成新的训练样本，可以通过对图像的平移、旋转、压缩、调整色彩等方式创造新的数据。 而在nlp领域中数据是离散的，这导致我们无法直接简单的转换（换掉一个词可能影响整个句子的含义）。因此就需要研究具有针对性的文本数据增强技术；数据增强–技术传
转载
2023-07-28 09:22:36
269阅读
时间: 2019-8-14引言两篇文章与大家分享，第一篇作者对通用文本匹配模型进行探索，研究了构建一个快速优良的文本匹配模型所需条件，在此条件下，其模型性能与最先进的模型相当，且参数少速度快(6倍)；第二篇主要研究了集成语言输入特征对神经网络模型产生的影响，并且发现输入特性对性能的影响比我们研究的任何体系结构参数都要大。First BloodTILE: Simple and Effective T
转载
2024-07-25 14:40:11
29阅读
作者 | 周俊贤 文本分类是NLP领域的最常见工业应用之一，也是本人在过去的一年中接触到最多的NLP应用，本文「从工业的角度浅谈实际落地中文本分类的种种常见问题和优化方案」。由于，项目中的数据涉密，所以拿公开的两个数据集进行实验讲解：今日头条的短文本分类和科大讯飞的长文本分类，数据集的下载见github的链接。https://github.com/zhou
转载
2024-07-31 20:21:04
29阅读
NLP-文本挖掘-综述一、什么是文本挖掘二、文本挖掘五个步骤三、7种文本挖掘的方法 一、什么是文本挖掘文本挖掘的意义就是从数据中寻找有价值的信息，来发现或者解决一些实际问题。 每到春节期间，买火车票和机票离开一线城市的人暴增——这是数据 再匹配这些人的身份证信息，发现这些人都是从一线城市回到自己的老家——这是信息 回老家跟家人团聚，一起过春节是中国的习俗——这是知识二、文本挖掘五个步骤数据收集、
转载
2023-07-08 11:38:41
131阅读
项目2：新闻文本挖掘与分类MLDL一、 文本分析与可视化读取数据，去除有缺失值的行，分词去除停用词统计词频做词云二、 中文自然语言处理分析1. 关键词提取1.1 基于TF-IDF算法的关键词抽取import jieba.analyse
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())senten
转载
2023-11-14 09:29:16
119阅读
摘要：近年来，自然语言处理行业蓬勃发展，在市场上得到广泛应用，尤其是基于NLP的AI伪原创技术。 自从我上学以来，我写了很多文章。文章的深度是不同的。今天，由于某些需要，我再次阅读文章并将它们放在一起，这也可以称为概述。博客上有关于这些问题的详细文章。本文仅是其各个部分的高级摘要。1什么是文本挖掘？文本挖掘是基于文本信息进行知识发现的信息挖掘研究分支。文本挖掘的准备涉及三个步骤：文本收集，文本分析
转载
2024-05-22 17:03:25
43阅读
代码github 几个简单的NLP数据增强示例：random delete wordrandom delete charrandom delete symbolrandom swag wordrandom back translate by google (需要能访问谷歌)random synonym substitutionrandom back translate by youdao(免费，有
转载
2023-05-19 09:51:24
107阅读
