刚接触自然语言处理的朋友通常会问我：当系统的输出是文本，而非对输入文本进行某种分类，如何对该系统进行评估。当模型的输入是文本信息，输出也是文本信息时，我们称之为序列到序列问题，也可称为字符串转换问题。序列到序列建模是解决NLP中较难任务的核心，它包括：1、 自动文摘（Text Summarization）；2、 文本简化（Text simplification）；3、 问答（Question an
转载
2024-05-30 14:26:57
45阅读
NLP补充论文名称： Do NLP Models Know Numbers? Probing Numeracy in Embeddings推荐指数：★★★★所属领域和方向：NLP方向，探究型工作推荐理由：发表于EMNLP 2019，理解和处理数字（识数）的能力对于很多复杂的推理任务来说至关重要。目前，大多数自然语言处理模型处理文本中数字的方式与其他 token 一样，将这些数字作为分布式向...
原创
2021-08-02 13:54:02
649阅读
数据机构和算法实例
原创
2021-08-08 10:27:24
139阅读
白交数据增强技术已经是CV领域的标配，比如对图像的旋转、镜像、高斯白噪声等等。但在NLP领域，针对文本的数据增强，却是不那么多见。于是，就有一位机器学习T型工程师，在现有的文献中，汇总一些NLP数据增强技术。妥妥干货，在此放送。文本替代文本替代主要是针对在不改变句子含义的情况下，替换文本中的单词，比如，同义词替换、词嵌入替换等等。接着，我们就来好好介绍一下。同义词替换顾名思义，就是在文本中随机抽取
# 自然语言处理（NLP）：句子补充
自然语言处理（Natural Language Processing，NLP）是人工智能领域的一个重要分支，旨在使计算机能够理解、解释和生成人类语言。在NLP中，句子补充是一个常见的任务，它旨在根据给定的上下文，自动预测并生成缺失的句子。本文将介绍NLP中的句子补充任务，并通过代码示例演示如何实现这一功能。
## 句子补充任务
句子补充任务通常被称为填空
原创
2024-04-06 04:17:54
92阅读
NLP中的数据增广方法author: Heisenbergdate：2020-09-20CV 主要以图像中心旋转、灰度变换为主，图像本身含义变化不大。NLP则对此非常敏感。NLP中Data Augmentation Techs:一、词汇替换基于同义词典的替换WordNet: For EnglishChineseSemanticKB：For Chinese基于Word-Embedding的替换Wor
整体介绍对于输入的中文，想要在模型中体现，必然不可能以汉字的形式呈现，而是使用embedding将这个字对应到一个n维的向量中去，而为了能够较快的完成这个对应任务，需要首先把汉字转换成一个序号，由于使用了别人训练好的embedding，因此也要使用别人的字符序号。 将一句话转换成序号后，还需要做一些“加减法“对于同一个batch的数据，根据最长的句子长度做padding。target句子中要有特殊
解决mysql 1040错误Too many connections的方法修改/etc/my.cnf这个文件，在[mysqld]中新增max_connections=N，如果你没有这个文件请从编译源码中的support-files文件夹中复制你所需要的*.cnf文件为到/etc/my.cnf。我使用的是my-medium.cnf,中型服务器配置。
原创
2016-01-25 15:43:36
404阅读
前言这些知识点基本是本人在准备春招和秋招时做的笔记，东西比较杂，有的是自己总结，有的是参考网上博客，可能不是很准确，还望各位批评指正，多多交流。问-31：GloVe相对于word2vec有哪些优缺点？答： 优点： 1：统计全局信息： 考虑了全局的统计信息，在小数据集上也能有不错的效果，word2vec只使用局部的信息 2：训练速度更快： 从其实现上来说，更容易实现并行化，所以训练速度更快，相对于C
转载
2024-01-05 21:59:48
70阅读
阅读本文大概需要 1.6 分钟。让大家久等了，今天一登录后台，看到后台一大堆读者询问，以及小商店的成百上千条客服信息，姑且这里发个文章给大家统一说明下吧。昨天文章推荐的几款生财日历，整个过程，出了几次故障。生财日历其实去年就卖过一次，所以在设置库存的时候，按照去年的销量，预估后简单调高了点。没想到发文半小时，库存被秒光，商品详情显示被售罄。于是紧急跟亦仁那边沟通，把压箱底的存货全都给我了，简单中断
原创
2023-04-05 15:38:19
81阅读
NLP 基本知识NLP问题主要是对字词、短语、句子、篇章的处理，这一切问题主要包含两个层次：结构、语义。解决这些问题离不开两个基本概念：语言模型、序列标注。 一、语言模型 语言模型是指用数学的方法描述语言规律，统计语言模型是用句子A出现的概率p(a)来刻画句子的合理性，常用的有 n-gram模型二、词
转载
2023-07-29 22:47:15
89阅读
今天安装了一下oracle的linux系统，结果忘记了选择中文支持 试了下面的方法1. 用命令将系统所需要的中文字体包安装上，不管用2. 用自带的 Add/Remove software选择了还是不行3. 拷贝其他字体到/usr/share/fonts下 但是还是不行最后用到了下面的方法，解决了一下网上有人说改vi /etc/sysconfig/i18n文件,其实根本就没有必要。其实这个
原创
2009-12-27 01:21:24
463阅读
关于NLP的研究领域，没有一个非常严格的定义进行限定，笼统的说，那些尝试让机器和人类用语进行交互的研究都属于NLP研究的范畴，例如信息提取、情感分析、翻译、问答、推理等。详细地列举出所有研究内容并不现实也没有必要，因为对于科学而言，唯一不变的就是一直在变化。这里只是非常简单总结一下当前认知到的，方便日后回顾。现阶段搜索引擎还主要是检索网络上的文本信息然后返回相关的网页，虽然随着知识图谱技术的加入，
转载
2023-08-31 07:17:12
98阅读
一、NumpyNumpy与平Python自带的的array不同，后者只能处理一维数据 ndarray.itemsize：数组中每个元素所占内存的字节数 ndarray.data：容纳数组元素的缓冲区地址。通常不需要使用此属性，只需使用索引访问数组中的元素即可， a[1]np.logspace(0,5,5,) # 等比数列#求逆矩阵import numpy.linalg as lg # 线性代数：
原创
2022-07-01 11:32:49
111阅读
作者：Muhammad Khalifa编译：ronghuaiyang导读NLP迁移学习中的一些问题，感觉有点道理。自然语言处理(NLP)最近取得了巨大的进步，每隔几天就会发布最新的结果。排行榜疯狂是指最常见的NLP基准，如GLUE和SUPERGLUE，它们的得分越来越接近人类的水平。这些结果大多是通过超大(数十亿个参数)模型从大规模数据集中迁移学习得到的。本文的目的是指出迁移学习面临的问题和挑战，
转载
2024-02-07 11:26:09
43阅读
这是一篇可能不出名，但是很实用的事件抽取论文，也很契合笨妞当下的使用。原文来自于这里，代码也比较好用。以下是翻译记录。********************************************分割线***********************************************一、概述
事件抽取是文本挖掘的一种常见应用，它提取句子甚至是通道的主要特征。我们的实验主
转载
2023-12-13 00:51:48
74阅读
# 自然语言处理中的问题生成：原理与实现
自然语言处理（NLP）是人工智能领域中的一个重要分支，主要研究计算机与人类语言之间的互动。在这其中，问题生成（Question Generation, QG）是一个颇具挑战性的任务，它的目标是从给定的文本中生成相关的问题。本文将介绍问题生成的基本原理，用Python代码实现一个简单的问题生成模型，并利用Mermaid语法展示状态图和类图。
## 问题生
# NLP中的鞍点问题
在自然语言处理（NLP）领域中，某些优化问题可能会面临鞍点（saddle point）问题。鞍点是指在某些方向上是局部最小，而在另一些方向上是局部最大。为了更好地理解这一概念，我们可以结合优化算法中的梯度下降法进行探讨。
## 什么是鞍点
在数学上，鞍点是一个特殊的点，它的特征是：在某个维度上，它是一个最小值，而在另一个维度上，它是一个最大值。这种情况下，算法可能会停
自然语言处理要解决的问题:其实，自然语言处理的应用非常广泛，如：垃圾邮件识别通过自动分析邮件中的文本内容，判断该邮件是否垃圾邮件。中文输入法通过识别输入的拼音字符串，识别用户希望输入的汉字。机器翻译将文本从一种语言转成另一种语言，如中英文机器翻译。自动问答、客服机器人用文本输入一个问题，再返回一段文本作为问题的答案。……这里简单罗列了一些NLP的常见领域：分词，词性标注，命名实体识别，句法分析，语
转载
2024-05-20 09:43:29
37阅读
一、什么是最小编辑距离最小编辑距离：是用以衡量两个字符串之间的相似度，是两个字符串之间的最小操作数，即从一个字符转换成另一个字符所需要的操作数，包括插入、删除和置换。每个操作数的cost：每个操作数的cost一般是1如果置换的cost是2，而插入和删除的cost是1，我们称之为Levenshtein 距离。作用：计算衡量机器翻译和语音识别的好坏：将机器得到的字符串与专家写的字符串比较最小编辑距离，
转载
2024-01-30 02:36:58
54阅读
