白交数据增强技术已经是CV领域的标配，比如对图像的旋转、镜像、高斯白噪声等等。但在NLP领域，针对文本的数据增强，却是不那么多见。于是，就有一位机器学习T型工程师，在现有的文献中，汇总一些NLP数据增强技术。妥妥干货，在此放送。文本替代文本替代主要是针对在不改变句子含义的情况下，替换文本中的单词，比如，同义词替换、词嵌入替换等等。接着，我们就来好好介绍一下。同义词替换顾名思义，就是在文本中随机抽取
整体介绍对于输入的中文，想要在模型中体现，必然不可能以汉字的形式呈现，而是使用embedding将这个字对应到一个n维的向量中去，而为了能够较快的完成这个对应任务，需要首先把汉字转换成一个序号，由于使用了别人训练好的embedding，因此也要使用别人的字符序号。 将一句话转换成序号后，还需要做一些“加减法“对于同一个batch的数据，根据最长的句子长度做padding。target句子中要有特殊
NLP补充论文名称： Do NLP Models Know Numbers? Probing Numeracy in Embeddings推荐指数：★★★★所属领域和方向：NLP方向，探究型工作推荐理由：发表于EMNLP 2019，理解和处理数字（识数）的能力对于很多复杂的推理任务来说至关重要。目前，大多数自然语言处理模型处理文本中数字的方式与其他 token 一样，将这些数字作为分布式向...
原创
2021-08-02 13:54:02
649阅读
数据机构和算法实例
原创
2021-08-08 10:27:24
139阅读
# 自然语言处理（NLP）：句子补充
自然语言处理（Natural Language Processing，NLP）是人工智能领域的一个重要分支，旨在使计算机能够理解、解释和生成人类语言。在NLP中，句子补充是一个常见的任务，它旨在根据给定的上下文，自动预测并生成缺失的句子。本文将介绍NLP中的句子补充任务，并通过代码示例演示如何实现这一功能。
## 句子补充任务
句子补充任务通常被称为填空
原创
2024-04-06 04:17:54
94阅读
NLP中的数据增广方法author: Heisenbergdate：2020-09-20CV 主要以图像中心旋转、灰度变换为主，图像本身含义变化不大。NLP则对此非常敏感。NLP中Data Augmentation Techs:一、词汇替换基于同义词典的替换WordNet: For EnglishChineseSemanticKB：For Chinese基于Word-Embedding的替换Wor
刚接触自然语言处理的朋友通常会问我：当系统的输出是文本，而非对输入文本进行某种分类，如何对该系统进行评估。当模型的输入是文本信息，输出也是文本信息时，我们称之为序列到序列问题，也可称为字符串转换问题。序列到序列建模是解决NLP中较难任务的核心，它包括：1、 自动文摘（Text Summarization）；2、 文本简化（Text simplification）；3、 问答（Question an
转载
2024-05-30 14:26:57
45阅读
一、介绍信息检索（information retrieval）是从海量集合体（一般是存储在计算机中的文本）中找到满足信息需求（information need）的材料（一般是文档）信息检索的应用领域：网页搜索，邮件搜索，电脑内部搜索，法律信息检索等等信息检索的基本假设：
集合体（collection）：一组假设为静态（static）的文档目标：抽取和用户信息需求相关的文档，并帮助他们完成任务
转载
2023-12-25 22:12:27
71阅读
知识抽取NLP是人工智能领域的掌上明珠，知识(信息)抽取中关键技术主要是NLP处理技术，主要以命名实体识别(实体抽取)与实体链接、实体关系抽取、事件抽取为主。如下图所示不同数据源知识抽取的过程。文本数据处理如下图所示:实体抽取摘要实体抽取，又称命名实体识别（Named Entities Recognition，NER），主要任务是识别命名实体的文本范围，并将其分类为预定义的类别，学术上所涉及一般包
一、什么是命名实体识别命名实体识别是识别一个句子中有特定意义的实体并将其区分为人名，机构名，日期，地名，时间等类别的工作。命名实体识别本质上是一个模式识别任务, 即给定一个句子, 识别句子中实体的边界和实体的类型。是自然语言处理任务中一项重要且基础性的工作。二、实体关系抽取实体和实体之间存在着语义关系, 当两个实体出现在同一个句子里时, 上下文环境就决定了两个实体间的语义关系。完整的实体关系包括两
转载
2023-08-08 12:40:19
86阅读
原作者Amit Chaudhary在计算机视觉中，使用图像数据增强是比较常规的做法，而在NLP中对文本数据进行增强则非常罕见。 这是因为对图像做一些微不足道的操作（例如将图像旋转几度或将其转换为灰度图像）并不会改变其原来的内容。 这种特性使数据增强成为CV研究中必不可少的步骤。 我很好奇是否有尝试在NLP的研究中使用数据增强的方法，并且查阅了现有文献。 在这篇文章中，我将分享我发现的当前用于扩充文
任务简介：讲解信息抽取中涉及到的机器学习算法详细说明：本节首先介绍中文nlp的一般流程、命名实体识别问题的详细定义，引入信息抽取中的机器学习算法，包括隐马尔可夫模型、维特比算法等。一、中文自然语言处理简介机器学习基本流程中文自然语言处理 自然语言处理技术被称为“人工智能皇冠上的明珠” 。链接：中文NLP流程 中文分词
词性标注
去停用词
二、命名实体识别
转载
2023-08-13 17:54:59
150阅读
引言信息抽取一直以来都是自然语言处理中最基础的技术之一，它指的是将文本中的非结构化信息通过算法或模型自动提取转换为结构化数据的过程。信息抽取任务有多个子任务：命名实体识别（NER）、关系抽取（RE）、事件抽取（EE）。信息抽取的结果可以用于很多NLP的下游任务例如阅读理解、知识图谱构建和智能问答。今天给大家分享三篇ACL关于信息抽取的文章，分别涵盖了命名实体识别（NER）、信息联合抽取以及关系抽取
转载
2023-09-16 00:00:29
20阅读
一、NumpyNumpy与平Python自带的的array不同，后者只能处理一维数据 ndarray.itemsize：数组中每个元素所占内存的字节数 ndarray.data：容纳数组元素的缓冲区地址。通常不需要使用此属性，只需使用索引访问数组中的元素即可， a[1]np.logspace(0,5,5,) # 等比数列#求逆矩阵import numpy.linalg as lg # 线性代数：
原创
2022-07-01 11:32:49
111阅读
文章目录项目简介任务简介：BiLSTM-CRF模型发射分数Emission score转移分数Transition score路径分数Path score预测BiLSTM-CRF代码（略） 项目简介知识图谱、信息抽取以及规则系统 基于机器学习的信息抽取系统 基于深度学习的信息抽取系统（本节内容） 信息抽取最新研究与展望 信息抽取实战经验与面试准备任务简介：学习使用bilstm-crf解决ner问
转载
2024-02-02 19:44:25
0阅读
信息检索（Information Retrieval）是自然语言处理（NLP）中的一个核心问题。它的目的是从大量的信息中检索出最相关和有用的内容。在本文中，我将详细阐述如何在这个领域中解决问题的过程，包括环境配置、编译过程、参数调优、定制开发、错误集锦以及安全加固等方面。
### 环境配置
首先，在开始之前，我们需要确保我们的环境准备就绪。下面是为信息检索NLP配置的环境思维导图。
```m
写在前面昨天Cortex v0.12开源了，以前笔者做过一段独立的iOS开发者，相对于平时的研究，也对ML如何构建web api服务有所兴趣本文读者可以通过机器学习构建软件，无需读者有数学基础也不用了解反向传播等知识。读者可以通过此文零基础学习并部署以下模型：RoBERTa(文本自动补全)DialoGPT或ELMo-BiDAF(客服机器人)GPT-2(预测文本生成器)fastText(语言标识符识
一 序本文属于贪心NLP训练营学习笔记。本节课开始学习HMM。二 时序类模型常见时序类模型的场景：（沿着时间的维度在变化的，而且数据之间有一定相关性，时间长度不固定）1股票价格、语音、文本，温度的变化。HMM / CRF <= traditional method 传统RNN / LSTM <= deep learning 深度学习三 模型介绍z是状态值（隐式），x是观测值
转载
2023-11-23 22:54:52
6阅读
0. 信息抽取信息抽取（information extraction, IE）是将非结构化或半结构化描述的自然语言文本转化成结构化特征的一种基础自然语言处理（NLP）任务，它包括三类子任务：抽取文本中指定类型的实体（实体抽取/命名实体识别，NER）；抽取实体之间的语义关系（关系抽取，RE）；文本中的事件（event）。1. 实体抽取（命名实体识别，NER）实体抽取（Entity Extractio
转载
2023-07-08 17:30:50
242阅读
信息抽取?188非结构化数据; 抽取实体; 抽取关系;评估方法: F1-ScoreNER方法分类利用规则, 比如美国电话(?:\(?[0-9]{3}\)?[0-9]{3}[ -.]?[0-9]{4})
投票模型, 统计每个单词的类型, 取频率最高的. 一般用作baseline利用分类模型1. 简单特征工程def get_feature(word: str):
return np.array
转载
2023-10-31 10:47:01
57阅读
