一、词袋模型：分词、去停用词、消除数字、英文，得到若干词语的集合。二、词典：词语和其索引ID的一一对应关系。假设共有N个词语。三、one-hot编码: 在词典基础上，分词之后的文章的词频向量。可以看成是M*N的单词-文档矩阵A。A(i,j)=第i篇文章中词典索引为j的词语出现的次数，即词频TF。四、TF-IDF模型：在one-hot基础上，A(i,j)的值由词频变成了词频*逆文档频率。缺点：不能表
搜索引擎的基本的术语1.tf/df/idftf是词频，就是某个词的出现的次数，表示的是一个词的局部信息。df是文档频率，就是指某个词的文档频率，这个词在多少个文档中出现。idf是逆文档频率，它是词重要性的一个很好的衡量。计算如下：在大量语料库中统计的，所以一般表示一个词的全局信息。2.pagerankpagerank用来衡量网页重要性的一个指标。核心思想是投票原则。如果指向某个网页的链接非常多且质
Tokenize关于 tokenize 的总结，翻译自Summary of TokenizeSubword tokenizationtransformers 使用混合tokenization：Word-Level 和 Character-LevelSubword tokennizaiton算法基于这样一个原则，即经常使用的词不应该被分割成更小的子词，而稀有词应该被分解成有意义的子词。对于BertT
自然语言处理NLP简介NLP简介1 引言人工智能、机器学习、深度学习什么是自然语言处理？人工智能的流派2 NLP发展历史人工智能发展历史推理期知识期学习期文本的预训练可分为两个重要的时期3 NLP研究方向自然语言处理研究分类(1)词法与句法分析(2)语义分析(3)篇章分析(4)语言认知模型(5)语言表示与深度学习(6)知识图谱与计算(7)文本分类与聚类(8)信息抽取(9)情感分析(10)自动文摘
1.正则表达式正则表达式在处理文本方面发挥着重要的作用 1.re.match() 从字符串开头匹配，匹配成功返回匹配结果，加上.group（）可查看匹配到的具体的值，匹配不成功则返回Noneimport re
print(re.match(r'a','abc123').group()) #a
print(re.match(r'A','abc123',re.I).group())#a，加上re.I可
文章目录发展历程迁移学习预训练、精调范式（Pre-train,Fine-tune) 发展历程预训练语言模型： 是采用迁移学习的方法，通过自监督学习，从大规模数据中获得与具体任务无关的预训练模型，然后用训练好的预训练模型提高下游任务的性能的一种数据增强法迁移学习分类： 1、归纳迁移学习 在源领域和任务上学习出的一般的知识，然后将其迁移到目标领域和任务上迁移方式： 1、基于特征的方式 将源任务预训练
1，概述任务型对话系统越来越多的被应用到实际的场景中，例如siri，阿里小密这类的产品。通常任务型对话系统都是基于pipline的方式实现的，具体的流程图如下： 整个pipline由五个模块组成：语音识别；自然语言理解；对话管理；自然语言生成；语音合成。现在越来越多的产品还融入了知识库，主要是在对话管理模块引入。在这里除了语音识别和语音合成模块不属于自然语言处理范
NLP入门学习（学习资料来自实验楼）
自然语言处理，简称：NLP，是指对人们平时日常使用的交流语言进行处理的一项技术。NLP 经过多年的发展，现今可以划分为两部分内容，即：自然语言的理解和自然语言的生成。本文将以文本分类为目标，介绍自然语言处理相关的基础操作和应用。（来自https://www.shiyanlou.com/courses/12
分词：将输入的自然语言文本分成一个个离散的语言单元，通常是词或符号。词性标注：对分词后的语言单元赋予相应的语法和语义标签，例如名词、动词、形容词、代词等，以便进一步分析。句法分析：将分词和词性标注后的语言单元组织成一个句子结构，分析单词之间的语法关系，如主谓宾、定状补等。命名实体识别：识别文本中的特定实体，如人名、地名、时间、组织机构等。情感分析：对文本进行分类，判断文本的情感偏向，如正面、负面或
作者 | AI Publishing 翻译 | 悉尼没睡醒校对 | gongyouliu编辑 | auroral-L全文共2406字，预计阅读时间30分钟。第九章 文本摘要和主题建模 1. 用 NLTK 进行文本摘要 1.1 抓取维基百科的文章 1.2 文本清洗
编译：琰琰近五年来，AI学术论文的投稿量和接收量都在不断攀升，包括NeurIPS、AAAI、ACL，ICML、EMNLP等国际顶会。根据权威数据统计，NeurIPS论文收录量在2019年呈指数级增长，领先AAAI近300篇；而AAAI 在2020年创下历史新高，达到了1692篇。如何在海量论文库中发现最具影响力的论文，谷歌引用次数是学者们参考的一项重要指标，它在一定程度上反映了论文的质量。近日，知
论文题目：Prompt-free and Efficient Language Model Fine-Tuning论文作者：Rabeeh Karimi Mahabadi提示学习（Prompt-learning）被誉为自然语言处理的“第 4 种范式”，它可以在少样本甚至零样本的条件下，通过将下游任务修改为语言生成任务来获得相对较好的模型。但是，传统的提示学习需要针对下游任务手工设计模板，而且采用自回
自然语言处理待解决的问题多模态的融合其实我们人是不怎么区分图片、文字、声音，因为到脑海中都会变成表述。这样类比到神经网络上，我们也可以对不同类型的信息源同等对待，同等建模，得到一个融合的信息，再基于这种信息进行编码解码，然后再生成其他媒介的东西，或者混合媒介的东西。现在「读图」这件事更多的是图像领域的科研人员在做，NLP 领域的人很少涉足，NLP 研究人员一般是你读出来什么，表示成自然语言的形式，
了解了HMM之后，我们可以发现HMM有两个很明显的缺点：HMM定义的是联合概率，必须列举出所有可能出现的情况，这在很多领域是很困难的。在NLP领域，常知道各种各样但又不完全确定的信息，需要一个统一的模型将这些信息综合起来。HMM遵循一个假设：输出独立性假设。这要求序列数据严格相互独立才能保证推导的正确性，导致不能考虑上下文特征。而在NLP领域，上下文信息是很重要的。 因此，引入条件随机场（
NLP（Natural Language Processing ）自然语言处理：是计算机科学，人工智能和语言学的交叉领域。目标是让计算机处理或“理解”自然语言，以执行语言翻译和问题回答等任务。NLU (Natural Language Understanding ) 自然语言理解：将人的语言形式转化为机器可理解的、结构化的、完整的语义表示，通俗来讲就是让计算机能够理解和生成人类语言。N
一、 NLP学习难度1、语言本身的复杂性，想要机器能理解语言是很困难的。 2、语境相关性，不同的语句，在不同的情景中的语义有可能是一样的。给机器理解语句带来更大的困难。 3、抽象概念联系，有些语句需要相关概念联合起来才能理解其真正语义。二、NLP解决的五个基本问题1、分类问题，比如文本分类 2、匹配问题，比较常见的就是检索，检索与某句话类似的话或者是与它相关的回答，这个就是匹配。 3、翻译问题，类
文本摘要提取之前写过一版 文本摘要提取，但那版并不完美。有所缺陷（但也获得几十次收藏）。今天写改进版的文本摘要提取。文本摘要旨在将文本或文本集合转换为包含关键信息的简短摘要。文本摘要按照输入类型可分为单文档摘要和多文档摘要。单文档摘要从给定的一个文档中生成摘要，多文档摘要从给定的一组主题相关的文档中生成摘要。按照输出类型可分为抽取式摘要和生成式摘要。 摘要：意思就是从一段文本 用几句话来概括这段话
一、词袋模型（BOW）词袋模型是一种简单常用的模型，在该模型中，我们可以把文本看做是一系列词的集合，我们用袋子来把他们装起来就叫做词袋，这么说可能有些抽象，用一个例子来表示一下：有一段文本："it is a beautiful day today"进行分词处理：it/is/a/beautiful/day/today得到词袋：（"it","is","a","beautiful","day","tod
接触NLP也有好长一段时间了，但是对NLP限于知道，但是对整体没有一个很好的认识。特整理了一下思绪，总结记录下：一、NLP的定义 还是按照常规的逻辑来看下定义：NLP(Natural Languange Processing,自然语言处理），方法是应用计算机来处理，理解和应用人类语言，目的是达到人机之间进行交流。分成自然语言理解和自然语言生成两部分。引用一个表来概括下：二、
