编辑: ShuYini 校稿: ShuYini 时间: 2023-4-07引言今天继续给大家分享8篇关于自然语言处理（NLP）的论文，其中主要包括：大预言模型的研究、动态环境下的语言回应、数据增强（使用10％的真实数据训练结果胜过100%的数据）、幽默话术的识别（幽默往往和缺陷相关）、模型幻觉抑制、自动化文章评分、稀疏奖励下的强化学习等。 论文获取方法： 1、直接获取，关注 AINLPer，后台
转载
2023-08-21 14:21:50
93阅读
语言表示模型四种语言表示模型BOWOne-HotCountTFIDFN-gram方法共现矩阵主题模型LDALSA静态词向量NNLMword2vecfasttextGlove动态词向量elmoRNN 序列依赖问题文本表示方法优缺点参考文献 四种语言表示模型语言表示模型有很多种方式，常见的语言表示方式可以粗略的分成非神经网络的方式、基于神经网路的方式。 也可以分为一下四种方式： 1.基于one-ho
转载
2023-08-11 21:10:02
299阅读
NLP通常包括两个关键问题： 1.选择什么样的语言模型？ 2.选择什么样的分类算法？第二个问题是机器学习领域的标准问题，各种针对不同数据类型、数据分布的算法和技巧，这里不再赘述。而在NLP当中，语言模型更加重要一些。 不同语言模型的区别，也就是对文本提取特征的不同。常用的模型有： 1.Bag-of-words：最原始的特征集，一个单词/分词就是一个特征。往往一个数据集就会有上万个特征；有一些
转载
2023-08-10 10:04:43
132阅读
NLP文本分类之基于传统机器学习算法特点：人工特征工程+浅层分类模型抽象来说，机器学习问题是把数据转换成信息再提炼到知识的过程，特征是“数据–>信息”的过程，决定了结果的上限，而分类器是“信息–>知识”的过程，则是去逼近这个上限。代码地址：https://github.com/xuwlgo/Dive-Into-NLP特征工程将文本表示为计算机可以识别的，能够代表该文档特征的特征矩阵的过
转载
2024-06-08 13:38:55
107阅读
文章作者：许元博、周磊，腾讯CSIG质量部评测研究员。一、前言关于NLP模型可解释性的方法有很多种，有一些需要深入到模型内部，透视出参数的传递过程，我们可以将其归类为“白盒方法”。而有一些方法，则不需要模型内部的参数，是通过输入和输出的关系，来“猜测”模型可能的推理过程，我们可以将其归类为“黑盒方法”。两种类型的方法具有各自的优缺点和不同的目标。“白盒方法”由于其透视模型内部的结构和参数传递过程，
转载
2024-03-14 12:23:28
53阅读
简介:BERT,全称Bidirectional Encoder Representations from Transformers,是一个预训练的语言模型,可以通过它得到文本表示,然后用于下游任务,比如文本分类,问答系统,情感分析等任务.BERT像是word2vec的加强版,同样是预训练得到词级别或者句子级别的向量表示,word2vec是上下文无关的(Context-
转载
2024-03-12 19:36:02
52阅读
# 理解 NLP 模型结构
自然语言处理（Natural Language Processing, NLP）是计算机与人类语言之间的相互作用。随着深度学习的发展，NLP 模型的结构也逐渐复杂化。本文将带领刚入行的小白逐步理解 NLP 模型结构，提供一个清晰的流程以及实现相关的代码示例。同时，我们将通过序列图和状态图来可视化这一过程。
## 解决方案流程
我们可以将实现 NLP 模型的流程分为
Bert : 双向Transformer版的GPTBERT模型的架构：预训练(双向Transformer) + Fine-TuningBERT、ELMO、GPT之间的演进关系比如如果我们把GPT的单向语言模型换成双向语言模型，就得到了BERT而如果我们把ELMO的特征抽取器(LSTM)换成Transformer，我们也会得到BERTBERT综合了ELMO的双向优势与GPT的Transformer特
转载
2023-08-04 20:42:01
126阅读
实战:://github.com/jiangxinyang227/NLP-Project一、简介：1、传统的文本分类方法：【人工特征工程+浅层分类模型】 （1）文本预处理：①（中文）文本分词正向/逆向/双向最大匹配;基于理解的句法和语义分析消歧；基于统计的互信息/CRF方法；WordEmbedding + Bi-LSTM+CRF方法去停用词：维护一个停用词表（2）特征提取特征选
转载
2023-07-31 22:58:47
554阅读
什么是大模型？大规模模型（large-scale model）是近年来人工智能领域的一个热点话题，因为它们可以对自然语言处理（NLP）和其他任务进行更准确和深入的处理。由于大模型需要庞大的计算资源和数据支持，目前只有少数公司和机构能够进行研究和开发。本文将介绍一些国内外的巨头公司如何在大模型领域布局，以及他们的技术和应对措施。大规模模型是指参数数量巨大的神经网络，例如OpenAI的GPT系列和Go
转载
2023-10-20 13:03:25
232阅读
编辑: ShuYini 引言语言模型是构建NLP应用程序的关键。现在人们普遍相信基于预训练模型来构建NLP语言模型是切实有效的方法。随着疫情阴霾的散去，相信NLP技术会继续渗透到众多行业中。在此过程中，肯定有很多同学会用到NLP预训练模型，为此作者整理了目前2023年NLP的十大预训练模型及论文。BERT模型 BERT模型（Bidirectional Encoder Representatio
转载
2024-02-04 21:22:46
39阅读
文章目录目录〇、推荐一、人工智能学习算法分类1. 纯算法类2.建模方面二、详细算法1.分类算法2.回归算法3.聚类算法4.降维算法5.概率图模型算法6.文本挖掘算法7.优化算法8.深度学习算法三、建模方面1.模型优化·2.数据预处理〇、推荐无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转
转载
2023-10-16 15:45:02
257阅读
一、基本的Attention原理attention即为注意力，人脑在对于的不同部分的注意力是不同的。需要attention的原因是非常直观的，比如，我们期末考试的时候，我们需要老师划重点，划重点的目的就是为了尽量将我们的attention放在这部分的内容上，以期用最少的付出获取尽可能高的分数；再比如我们到一个新的班级，吸引我们attention的是不是颜值比较高的人？普通的模型可以看成所有部分的a
转载
2023-12-15 17:10:59
40阅读
目录1引言2GPT3适配下游任务4GPT代码4.1 transformer 代码4.2 基于transformer的encoder编写gpt代码4.2.1 input embedding层5例子5.1调用huggingface的模型5.2微调用在其他任务上1引言在自然语言处理领域中，预训练模型通常指代的是预训练语言模型。广义上的预训练语言模型可以泛指提前经过大规模数据训练的语言模型，包括早期的以W
转载
2023-09-14 12:49:04
78阅读
精彩内容不迷路项目作者：王晓智、张正预训练语言模型（PLM）是 NLP 领域的一大热门话题。从 BERT 到 GPT2 再到 XLNet，各种预训练模型层出不穷，不少同学感叹，「大佬慢点，跟不上了……」那么，这么多预训练模型要怎么学？它们之间有什么关联？为了理清这些问题，来自清华大学的两位本科同学整理了一份预训练语言模型必读论文列表，还用图的形式整理出了这些模型之间的复杂关系。Github 项目：
目录语言模型1. 统计语言模型1.1 统计语言模型的基本公式(条件概率)1.2 马尔科夫假设：有限前序字符依赖约束条件的统计语言模型（n-gram）1.3 独立同分布假设：所有字符间都独立同分布的统计语言模型1.4 局部与整体假设：TF-IDF表示1.5 LSA :一种基于SVD矩阵奇异值分解的语义分析语言模型2. 神经网络语言模型（NNLM）2.1 分布式表征（distributed repr
转载
2023-08-17 09:07:39
232阅读
主题模型（topic model）是以非监督学习的方式对文集的隐含语义结构（latent semantic structure）进行聚类（clustering）的统计模型。 主题模型主要被用于自然语言处理（Natural language processing）中的语义分析（semantic analysis）和文本挖掘（text mining）问题，例如按主题对文本进行收集、分类和降维；也
转载
2024-04-24 09:40:31
129阅读
目录引言1 FastText1.1 相关资料1.2 介绍2 TextCNN2.1 相关资料2.2 介绍3 DPCNN3.1 相关资料3.2 介绍4 TextRCNN4.1 相关资料4.2 介绍5 TextBiLSTM+Attention5.1 相关资料5.2 介绍6 HAN6.1 相关资料6.2 介绍7 Bert7.1 相关资料7.2 介绍8 封装的源码汇总 引言更多模型介绍基于深度学习的文本分
转载
2023-08-31 18:16:37
95阅读
概念统计语言模型：是描述自然语言内在的规律的数学模型。广泛应用于各种自然语言处理问题，如语音识别、机器翻译、分词、词性标注，等等。简单地说，语言模型就是用来计算一个句子的概率的模型 即P(W1,W2,W3....WK)。利用语言模型，可以确定哪个词序列的可能性更大，或者给定若干个词，可以预测下一个最可能出现的词语。N_gram语言模型简述 NLP中，人们基于一定的语料库，可以利用Ngram来预计或
转载
2024-05-15 11:11:14
40阅读
概念统计语言模型：是描述自然语言内在的规律的数学模型。广泛应用于各种自然语言处理问题，如语音识别、机器翻译、分词、词性标注，等等。简单地说，语言模型就是用来计算一个句子的概率的模型
即P(W1,W2,W3....WK)。利用语言模型，可以确定哪个词序列的可能性更大，或者给定若干个词，可以预测下一个最可能出现的词语。N_gram语言模型简述
NLP中，人们基于一定的语料库，可以利用Ngram来预计或
转载
2024-04-10 12:00:15
24阅读
