在自然语言处理领域中，HMM（隐马尔可夫模型）和 CRF（条件随机场）算法常常被用于分词、句法分析、命名实体识别、词性标注等。由于两者之间有很大的共同点，所以在很多应用上往往是重叠的，但在命名实体、句法分析等领域 CRF 似乎更胜一筹。通常来说如果做自然语言处理，这两个模型应该都要了解，下面我们来看看本文的内容。从贝叶斯定义理解生成式模型和判别式模型理解 HMM（隐马尔可夫模型）和 CRF（条件随
转载
2023-08-07 20:39:04
139阅读
编辑: ShuYini 校稿: ShuYini 时间: 2023-4-07引言今天继续给大家分享8篇关于自然语言处理（NLP）的论文，其中主要包括：大预言模型的研究、动态环境下的语言回应、数据增强（使用10％的真实数据训练结果胜过100%的数据）、幽默话术的识别（幽默往往和缺陷相关）、模型幻觉抑制、自动化文章评分、稀疏奖励下的强化学习等。 论文获取方法： 1、直接获取，关注 AINLPer，后台
转载
2023-08-21 14:21:50
93阅读
# NLP语言生成模型
## 什么是NLP语言生成模型？
自然语言处理（Natural Language Processing，NLP）是研究计算机与人类自然语言交互的一门学科。NLP语言生成模型是NLP领域中的一个重要分支，它致力于使用计算机生成自然语言文本。
NLP语言生成模型可以根据给定的输入，生成与人类自然语言相似的文本。这种技术在机器翻译、文本摘要、对话系统、聊天机器人等领域有广泛
原创
2023-08-29 04:20:37
145阅读
在学习机器学习的过程中我们总会遇见一些模型,而其中的一些模型其实可以归类于生成模型或者是判别模型中去,而这一篇文章我将会简单的概述下我最近所遇到的一些模型,并且按照自己的理解去记录下来,其中肯定会有差错,如果那里不对,还请各位多多指教.1:演变关系 上边的图是 这一篇论文中的一个截图,而第一张图其实讲的是几种模型的演进的一个过程,而这个过程如果加以简单的概括的话,可以归
转载
2024-05-21 08:57:43
33阅读
©NLP论文解读 原创•作者 | 吴雪梦Shinemon研究方向 | 计算机视觉 导读说明在NLP模型被建立后，如何更好的评价该模型一直以来都是被广泛讨论与关注的问题，而且评价方法不尽相同，研究人员通常会花费大量的时间提出不同的参数来评估该模型，评价指标也多元化。 现有的NLP评价指标中表现良好的模型，由于分布变化和噪声数据等漏洞，在部署到现实
转载
2023-11-15 20:17:50
16阅读
自 2018 年以来，预训练无疑是自然语言处理（NLP）领域中最热门的研究课题之一。通过利用 BERT、GPT 和 XLNet 等通用语言模型，该领域的研究者们在自然语言理解方面已经取得了许多重大的突破。然而，对于序列到序列的自然语言生成任务，这些主流的预训练方法并没有带来显著的改进，对此，微软亚洲研究院提出了一个全新的通用预训练方法——MASS，在该任务中可以得到比 BERT 和 GPT 更好的
转载
2023-12-08 09:54:32
5阅读
在自然语言处理（NLP）领域中，生成模型的损失计算是众多研究和应用的核心。然而，实际操作中经常会遇到相关问题，例如损失不收敛或表现不稳定，影响模型的整体效果。为了深入分析和解决这些问题，我将从多个方面逐步展开，概述解决“nlp生成模型的损失”问题的过程。
### 问题背景
在近年来的NLP研究中，生成模型如GPT-3、BERT等被广泛用于文本生成、对话系统等场景。这些模型的性能往往受损失函数影响
一、引言在NLP-统计语言模型中已经简要介绍过语言模型的相关知识，该文中已阐述语言模型的应用场景和一些传统的实现方式，本文接着演示n-gram的另一种实现方式-神经网络，那这样的实现方式就是神经语言模型吗？ 按本渣的理解，答案是否定的，神经语言模型是一个类指，其本质是在统计语言模型上的一种延伸和扩展，我可以只考虑上文n个词，也可以考虑下文n个词，也可以基于上下文考虑，具体的情况需要根据需求而定。二
转载
2023-10-17 16:21:13
93阅读
NLP发展历史 20
世纪五十年代开始，与计算机的诞生几乎同时 始于机器翻译任务 两种路线： 1.基于规则的理性主义 主张建立符号处理系统，由人工整理和编写初始的 语言知识表示体系，构造相应的推理程序 2.基于统计的经验主义主张通过建立特定的数学模型来学习复杂的、广泛的语言结构，利用统计、模式识别、机器学习等方法来训练模
转载
2023-11-18 14:23:04
105阅读
一、背景自从GPT-2的出现，预训练语言模型在许多文本生成任务上都取得了显著的效果。这些预训练语言模型大都采用自回归的方式从左到右依次生成单词，这一范式的主要局限在于文本生成的过程难以并行化，因此带来较大的生成延迟，这也限制了自回归模型在许多实时线上应用的广泛部署（例如搜索引擎的查询重写、在线聊天机器人等）。并且，由于训练过程与生成过程存在差异，自回归生成模型容易出现曝光偏差等问
转载
2024-04-09 19:08:14
88阅读
AI写诗？？ AI创作小说？？ 近年来人们时常听到这类新闻，听上去很不可思议，那么今天我们来一探究竟，这种功能是如何通过深度学习来实现的。通常文本生成的基本策略是借助语言模型，这是一种基于概率的模型，可根据输入数据预测下一个最有可能出现的词，而文本作为一种序列数据 (sequence data)，词与词之间存在上下文关系，所以使用循环神经网络 (RNN) 基本上是标配，这样的模型被称为神经语言模
转载
2024-05-21 18:58:26
65阅读
随着bert在NLP各种任务上取得骄人的战绩，预训练模型在这不到一年的时间内得到了很大的发展，本系列的文章主要是简单回顾下在bert之后有哪些比较有名的预训练模型，这一期先介绍几个国内开源的预训练模型。一，ERNIE（清华大学&华为诺亚）论文：ERNIE: Enhanced Language Representation with Informative Entities GitH
转载
2024-01-17 07:09:34
54阅读
XLNet自回归语言模型自编码语言模型XLNet的改进XLNet如何做到的？具体实现过程双流自注意力机制 首先引入自回归语言模型以及自编码语言模型的概念。自回归语言模型自回归语言模型（Autoregressive LM），简单的来说就是，根据上文预测下文（或者根据下文预测上文）。重点是单方向。缺点：仅仅可以利用上文或者下文的信息。 优点：符合逻辑，例如符合人类从左向右读文章的特点。自编码语言模型
0. 引言现在的很多数据是互相连接的，如果想分析这些链接的价值，知识图谱可以是一种有效的工具。而且随着万物互联时代的到来，链接中所包含的信息必然会发挥更大的价值，这也是为什么知识图谱在最近几年发展这么快的主要原因。1. 知识图谱的基础知识知识图谱的基础知识部分，包含知识图谱的定义、与知识图谱定义相关的重要概念、知识图谱的组成要素和知识图谱中知识的结构化表示方法的相关内容。目的是掌握知识图谱相关的基
转载
2023-11-19 09:26:42
52阅读
# NLP 通过生成模型进行数据增强
在自然语言处理（Natural Language Processing, NLP）领域，数据量往往是模型性能的关键因素之一。限于实际情况，获取大量标注数据的成本很高，因此数据增强（Data Augmentation）成为了一个重要的研究方向。本文将探讨如何通过生成模型进行数据增强，并提供示例代码，以帮助读者更好地理解这一过程。
## 什么是数据增强？
数
# NLP测试用例生成模型
自然语言处理（Natural Language Processing, NLP）是人工智能领域的一个重要分支，旨在使计算机能够理解、解释和生成人类语言。在NLP领域中，测试用例生成是一个重要的任务，用于评估和验证NLP模型的性能。生成高质量的测试用例对于确保NLP模型的准确性和可靠性至关重要。
在本文中，我们将介绍一个NLP测试用例生成模型，并给出相应的代码示例。这
原创
2024-03-13 05:26:33
83阅读
机器学习以及自然语言处理技术的进步，开启了人与人工智能进行语音交互的可能，人们透过对话的方式获取信息、与机器进行交互，将不再只是存在科幻情结当中。语音交互是未来的方向，而智能音箱则是语音交互落地的第一代产品。一、语音交互流程简介AI 对话所需要的技术模块有 4 个部分，分别为：自动语音识别（Automatic Speech Recognition, ASR）自然语言理解（Natural Lan
转载
2023-11-18 14:23:18
117阅读
学习摘要，都是最基础的东西，3月份整理的，有从博客文章里看的，也有自己的一些想法，也许存在一些错误，欢迎批评指正，大家选择性阅读：） 参考论文： 【1】论文名称：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 【1】论文地址：https://arxiv.org/abs/1810.048
转载
2023-11-21 22:10:04
68阅读
语言模型(LM)的作用是估计不同语句在对话中出现的概率，并且LM适用于许多不同的自然语言处理应用程序(NLP)。 例如，聊天机器人的对话系统。在此文中，我们将首先正式定义LM，然后演示如何使用实际数据计算它们。 所有显示的方法在Kaggle notebook中有完整的代码展示。一、语言模型(LM)的定义概率语言建模的目标是计算单词序列的语句出现的概率： &n
转载
2023-08-14 10:36:44
226阅读
谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果，这在自然语言处理学界以及工业界都引起了不小的热议。作者通过在33亿文本的语料上训练语言模型，再分别在不同的下游任务上微调，这样的模型在不同的任务均得到了目前为止最好的结果，并且有一些结果相比此前的最佳成绩得到了幅度不小的提升。但是如此好的效果并不是随便突然的一个凭空出现的想法导致的，而是作者结合NLP最近几年表现优异的模型的结果
转载
2023-12-29 23:39:51
108阅读
