NLP中的语言模型
语言模型是自然语言处理领域非常重要的模型，简单来讲，就是用来计算句子概率的模型。那么句子概率又是怎么算的呢？我们知道词构成句。在自然语言处理中，通常以词作为基本单位，把句子称为由词按照一定的规则组成的词的序列。不妨设一个句子为： &nb
转载
2023-08-06 00:28:01
61阅读
接触NLP也有好长一段时间了，但是对NLP限于知道，但是对整体没有一个很好的认识。
原创
2019-05-14 23:09:00
105阅读
什么是自然语言处理？计算机可以根据人类语言建模成计算机可以理解的信息，并且可以将这些信息利用起来，实现一个有用的系统。语言模型(Bi-Gram/Tri-Gram/N-Gram)频率派：统计不同词汇出现频率，从而知道某个词汇之后出现下一个词的概率。放弃寻找语言中的规律，直接以概率的方式预测最有可能出现的词汇。语言模型：用于评估文本符合语言使用习惯程度的模型。计算一句话出现的概率，随着句子长度增加，后
一、引言主流的深度学习基础框架有很多：tensorflow、pytorch、paddlepaddle、keras、caffee等等。随着以Bert、GPT系列为代表的NLP预训练语言模型的诞生，对于NLP的语言模型研究走向了大规模预训练之路。在CV领域，随着GAN、Diffusion Model、Transformers与传统CV技术的结合，也逐步走向了大模型之路，DALL·E2的爆炸效果也是基于
论文题目：Prompt-free and Efficient Language Model Fine-Tuning论文作者：Rabeeh Karimi Mahabadi提示学习（Prompt-learning）被誉为自然语言处理的“第 4 种范式”，它可以在少样本甚至零样本的条件下，通过将下游任务修改为语言生成任务来获得相对较好的模型。但是，传统的提示学习需要针对下游任务手工设计模板，而且采用自回
转载
2023-09-12 19:26:52
37阅读
本文结合cs224n:Natural Language Processing with Deep Learning的Lecture 8、Lecture 9内容，从语言模型（Language Model）讲到N-Gram LM（N-Gram Language Model）再到RNN-LM（RNN-Language Model）。 Language Model N-Gram Language M
一、什么是自然语言处理自然语言处理（Natural Language Processing，简称NLP）就是用计算机来处理、理解以及运用人类语言(如中文、英文等)，它属于人工智能的一个分支，是计算机科学与语言学的交叉学科。由于自然语言是人类区别于其他动物的根本标志，没有语言，人类的思维也就无从谈起，所以NLP体现了人工智能的最高任务与境界。也就是说，只有当计算机具备了处理自然语言的能力时，机器才算
转载
2023-08-13 15:02:28
74阅读
哈喽，大家好我是甘超波，一名NLP爱好者，每天一篇文章，分享我的NLP实战经验和案例，希望给你些启发和帮助，这是第120篇原创文章 今天我们主要分享NLP检定语言模式，在进入主题之前，先来做1个体验 体验 试想一下，当我们看完一本书籍后，我们能不能100%完全吸纳这本书的内容? 一起来感受一下，体验 ...
转载
2021-10-06 09:22:00
52阅读
2评论
智能语音质检是常见的内容审核和内容安全场景，随着5G和移动互联网的发展，无论是UGC社区、社交平台、娱乐平台，大量的C端业务都包括了语音、视频等富媒体内容。一方面，富媒体内容的信息量更高，用户更喜欢看、更喜欢传播；另一方面，以语音识别为核心的内容管理也越来越难。传统的通过NLP语音识别，把音频转化成文字，再对文字做出“敏感词”、“敏感字”的正则或者上下文识别算法来鉴定违规内容的方式遇到了很多挑战。
哈喽，大家好我是甘超波，一名NLP爱好者，每天一篇文章，分享我的NLP实战经验和案例，希望给你些启发和帮助，这是第120篇原创文章今天我们主要分享NLP检定语言模式，在进入主题之
原创
2021-10-08 18:14:44
441阅读
文章目录1.自然语言处理概述1.1NLP的发展历程1.2NLP研究内容1.3NLP的几个应用场景1.4NLP与人工智能技术1.5学习NLP的难点2.NLP基本流程2.1语料获取2.2语料预处理2.3文本向量化2.4模型构建2.5模型训练2.6模型评价 1.自然语言处理概述自然语言是指汉语、英语、法语等人们日常使用的语言，是自然而然地随着人类社会发展演变而来的语言。它是人类学习和生活中的重要工具。
转载
2023-09-02 22:19:19
81阅读
一 序 本文属于贪心NLP训练营学习笔记。二 句法分析Parsing理解句子的两种方法:句法分析 (主谓宾…)大量阅读后, 凭感觉 <- 语言模型概念例如. Microsoft is located in Redmond上面的语法树中，叶子节点叫terminal node，非叶子节点叫internal node（non-terminal node）句法树中提取特征Par
转载
2023-08-07 08:36:13
198阅读
概要：自然语言处理（NLP）近来因为人类语言的计算表征和分析而获得越来越多的关注。自然语言处理（NLP）近来因为人类语言的计算表征和分析而获得越来越多的关注。它已经应用于许多如机器翻译、垃圾邮件检测、信息提取、自动摘要、医疗和问答系统等领域。本论文从历史和发展的角度讨论不同层次的 NLP 和自然语言生成（NLG）的不同部分，以呈现 NLP 应用的各种最新技术和当前的趋
转载
2023-08-30 20:50:32
59阅读
做一个中文文本分类任务，首先要做的是文本的预处理，对文本进行分词和去停用词操作，来把字符串分割成词与词组合而成的字符串集合并去掉其中的一些非关键词汇（像是：的、地、得等）。再就是对预处理过后的文本进行特征提取。最后将提取到的特征送进分类器进行训练。 一、什么是自然语言处理 NLP（Natural Language Processing，自然语言处理）当中所谓的「自然」是为了与人造的语言（比如
转载
2023-09-14 12:28:31
446阅读
文章目录前言一、NLP是什么？1. NLP的概念2. NLP的研究任务二、NLP的发展三、NLP知识组织结构1. 基本术语2. 知识结构四、NLP语料库总结系列文章目录 前言随着人工智能的不断发展，NLP这门技术也越来越重要，很多人都开启了NLP的学习，本文就介绍了NLP的基础内容。以下是本篇文章正文内容。一、NLP是什么？1. NLP的概念NLP（Natural Language Proces
转载
2023-08-14 15:55:58
10阅读
目录一、Noisy Channel Model二、语言模型1.句子的概率2.马尔科夫假设3.语言模型：N-gram①Unigram②Bigram4.计算语言模型的概率5.评估语言模型6.平滑①拉普拉斯平滑②Interpolation一、Noisy Channel Model该模型就是自然语言处理中常用的模型，它是根据贝叶斯定理得来的，用于把信号源转换成文本，信号源可以是多种，可以适用于多个场景。比
转载
2023-10-31 10:44:22
0阅读
NLP的四范式 NLP发展到今天已经进入到了LLM的时代，随着模型越来越大，在zero-shot/few-shot的情形下也表现的越来越好，NLP也进入到了新的研究范式里面。学术界按发展时间线将NLP归纳到四个范式： 1），传统的基础学习范式。 2），基于word2vec，cnn，rnn的全监督深度学习范式。 3），基于预训练 + fine-tune的范式。 4），基于预训练 + P
原创
2023-04-11 16:01:00
344阅读
目录一、什么是自然语言处理二、自然语言处理的主要困难2.1 单词界定问题2.2 短语级别歧义问题2.3 上下文知识的获取问题2.4 背景知识问题三、自然语言处理的发展趋势四、与计算机视觉相比，自然语言处理有什么特点五、中文NLP vs 英文NLP参考文献 一、什么是自然语言处理简单地说，自然语言处理（Natural Language Processing，简称NLP）就是用计算机来处理、理解以及
转载
2023-06-25 15:22:04
69阅读
四个阶段自然语言是复杂的符号（词，短语，句子）系统 比ordinary符号更多的内部结构， 以下四层：phonological，individual sounds，书写语言，符号，字母；（最低）词素morphological，morphemes级别，最小意思语言单元，或者组成词；syntactic，词组成句子semantic，meaning级，（前三个都不涉及meaning,只是sign），例如语
转载
2023-07-08 11:32:34
257阅读
0.1 什么是NLP？NLP = NLU + NLGNLU：语音/文本 ——>语义 （text——>structure）NLG：语义——>文本/语音 （text——>structure）The challenge : Mutilple ways to express.The challenge : Ambiguity（一词多义） 解决方法：尽可能使用上下文信息今天参观了苹果
转载
2023-08-06 12:13:28
78阅读
