[NLP初步] NLP是Natural Lanuage Process的缩写。搜索引擎可以通过关词匹配和完成很多的任务, 比如话题搜索(搜索包含律师, 法院, 控告等词的文档), 但是搜索引擎无法理解"给我找出所有有关在1986年到1990年之间尝试过但最终失败且金额超过100W美金的项目报告文档"这样的查询。为了完成这样的查询, 必须通过NLP技术从文档中提取出有效的信息。另外, 有些机器翻译
转载
2023-09-13 21:02:56
104阅读
1.1 自然语言处理1.1.1 自然语言处理主要研究对象 自然语言处理（Natural Language Processing：NLP）是以人类社会的语言信息（比如语音和文本）为主要研究对象，利用计算机技术来理解、分析和处理语言的一门新兴综合性学科，最终目标是突破人类与计算机的交流瓶颈，提升人机沟通的速度和效率。1.1.2 自然语言处理分类广义：自然语言理解（Natural Language Un
转载
2023-08-09 10:00:11
46阅读
NLP一些常见的专有名词（持续跟新中……）词性是词语在句子中扮演的语法角色，也被称为词类（Part-Of-Speech,POS）词性标注（POS Taging)任务是给定一个句子，输出句子中每个词相应的词性。句法分析（Syntactic Parsing）的主要目标是给定一个句子，分子句子的句法成分信息，例如主谓宾定状补等成分。最终的目标是将词序列表示的句子转换成树状结构，从而有助于更准确地理解句子
人工智能（Artificial Intelligence），英文缩写为AI。百度百科是这样介绍的：它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。下面我将用技术的层面解释人工智能的实现：一般人工智能会用到ASR和NLP技术以及其他方面的技术：ASR技术：语音识别技术，也被称为自动语音识别Automatic Speech Recognition，(ASR)，
SnowNLPSnowNLP是一个功能强大的中文文本处理库，它囊括了中文分词、词性标注、情感分析、文本分类、关键字/摘要提取、TF/IDF、文本相似度等诸多功能，像隐马尔科夫模型、朴素贝叶斯、TextRank等算法均在这个库中有对应的应用。如果大家仔细观察过博主的博客，就会发现博主使用了摘要提取这一功能来增强博客的sEO，即通过自然语言处理(NLP)技术，提取每一篇文章中的摘要信息。因为SnowN
转载
2023-08-14 14:20:30
248阅读
NLP简述 自然语言语言处理（简称NLP）是目前应用最广的领域，从大的方面来看包括语音识别、语音合成、机器翻译、词性标注、实体识别、情感分析、推荐系统、信息检索、数据挖掘、文本分类、文本挖掘等领域。目前NLP技术的应用包括两种，一种是传统的机器学习技术，现在最新的技术是采用各种算法集成的技术；另一种是目前比较火的深度学习技术。比如在机器翻译(MT)方面，在最开始就利用的是传统的机器学习技术，比如常
转载
2023-09-18 19:56:26
130阅读
NLP:命名实体识别（NER）1.NER相关简介1.1概念1.2分类2.关于NER的方法（概述）2.1基于规则的方法2.1.1概念相关2.1.2优缺点2.2基于模型的方法2.2.1基于传统机器学习的方法（主要）2.2.2基于深度学习的方法（主要）2.3混合方法3.中文NER 的难点（主要） 1.NER相关简介1.1概念命名实体识别(Named EntitiesRecognition, NER)是
转载
2023-08-16 05:06:27
57阅读
1.什么是NLP？ 人与人、人与计算机交互中的语言问题。 能力模型，通常是基于语言学规则的模型，建立在人脑中先天存在语法通则这一假设的基础上，认为语言是人脑的语言能力推导出来的，建立语言模型就是通过建立人工编辑的语言规则集来模拟这种先天的语言能力。又称“理性主义的”语言模型。 应用模型，根据不同的语言处理应用而建立的特定语言模型，通常是基于统计的模型。又称“经验主义的”语言模型，使用大规模真实语
引言 新整理的最新论文又又来了，今天继续分享十篇今年最新NLP顶级论文，其中主要包括模型水印添加（想法新颖，一个不错的方向，强烈推荐仔细看一下）、状态空间模型在语言建模中的应用、指令元学习、大型模型训练效率提升（CiT可显着加快训练速度）、大模型到小模型推理能力转移(较小模型的准确性从8.11%提高到21.99%)、大模型简化（权重数量至少减少50%）、对话模型合规检测等。模型添加水印 大型语言
转载
2023-09-14 12:30:55
183阅读
1、基本术语： （1）分词 分词常用手段：基于字典的最长串匹配，但歧义分词很难。比如：美国/会/通过法案。美/国会/通过法案。 （2）词性标注 词性：动词、名词、形容词等 目的：表征词的一种隐藏状态，隐藏状态构成的转移就构成了状态转移序列。比如：我/r爱/v中国/ns。其中，ns代表名词，v是动词，ns，v都是标注。 （3）命名实体识别 指从文本中识别具有特定类别的实体（通常是名词），例如人名、地
NLP是什么而在计算机领域， NLP（Natural Language Processing），也就是人们常说的「自然语言处理」，就是研究如何让计算机读懂人类语言。这包括，既要能让计算机理解自然语言文本的意义，也能以自然语言文本来表达给定的深层的意图、思想等。 所以，这项技术往往体现了人工智能的最高任务与境界，也就是说，只有当计算机具备了理解自然语言的能力时，机器才算实现了真
转载
2023-06-01 15:48:15
407阅读
文章目录关于 NLP发展基础任务应用NLG & NLU自然语言生成 NLGNLP 的挑战资料 关于 NLPNLP：Natural Language Processing，自然语言处理。 NLP 是 AI 的一个子领域。NLP： 自然语言处理，数据是文本。 CV： 计算机视觉，数据是图像。发展萌芽期（1956年以前） 贝叶斯方法、隐马尔可夫、最大熵、支持向量机……，主流仍为基于规则的理性主
转载
2023-06-30 22:29:31
1743阅读
自然语言处理笔记总目录
HMM：隐含马尔科夫模型一般以文本序列数据为输入, 以该序列对应的隐含序列为输出什么是隐含序列？序列数据中每个单元包含的隐性信息，这些隐性信息之间也存在一定关联例如：给定一段文本: "人生该如何起头"
我们看到的这句话可以叫做: 观测序列
我们可以将这句话以词为单位进行划分得到:
["人生", "该", "如何", "起头"]
那么每个词对应的词性就是它的隐
1背景什么是分词分词是将连续的字序列按照一定的规范重新组合成词序列的过程，即将一个汉字序列切分成一个一个单独的词。分词主要包含基本分词和短语分词。基本分词就是将字序列变成词序列；短语分词则是更大粒度语义片段，由多个基本词构成，表示常见的共现搭配词和语义相对更加明确的实体。为什么分词对中文而言，词是承载语义的最小单元，由词构成语句，再由语句构成篇章。因此，NLP(自然语言处理)大体包含自下而上的三层
基本概念分/切词(Tokenization)基于词典的分词方法(最大匹配法、最短路径法、最大概率法)，实际用的比较多的如下：基于条件随机场（CRF）的中文分词算法的开源系统。基于张华平NShort的中文分词算法的开源系统(结巴分词核心算法)。词性标注(POS Tagging)词性，也称为词类，是词汇的语法属性，是连接词汇到句法的桥梁。 词性标注（Part-of-Speech Tagging或POS
转载
2023-09-05 13:39:32
76阅读
❤️觉得内容不错的话，欢迎点赞收藏加关注???，后续会继续输入更多优质内容❤️ ?有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）? （封面图由文心一格生成） 深入理解NLP中的文本匹配任务文本匹配是自然语言处理（NLP）领域中的一项重要任务，它可以用于很多应用，比如信息检索、机器翻译、对话系统等。文本匹配的目的是判断两个
本次代码的环境： 运行平台： Windows Python版本： Python3.x IDE： PyCharm一、 前言这篇内容主要是讲解的中文分词，词是一个完整语义的最小单位。分词技术是词性标注、命名实体识别、关键词提取等技术的基础。本篇博文会主要介绍基于规则的分词、基于统计的分词、jieba库等内容。 一直在说中文分词，那中文分词和欧语系的分词有什么不同或者
NLP-分词综述一、什么是分词？二、为什么要分词1、将复杂问题转化为数学问题2. 词是⼀个⽐较合适的粒度3. 深度学习时代，部分任务中也可以「分字」三、中英⽂分词的3个典型区别1.分词⽅式不同，中⽂更难2.英⽂单词有多种形态3.中⽂分词需要考虑粒度问题四、中⽂分词的3⼤难点五、3种典型的分词⽅法六、分词⼯具1.中文分词⼯具2.英文分词⼯具 一、什么是分词？分词是 ⾃然语⾔理解 - NLP 的重要
转载
2023-07-31 22:30:27
84阅读
作者：乐雨泉(yuquanle)，湖南大学在读硕士，研究方向机器学习与自然语言处理。本文谈一谈分词的那些事儿，从定义、难点到基本方法总结，文章最后推荐一些不错的实战利器。01定义先来看看维基百科上分词的定义：Word segmentation is the problem of dividing a string of written language into its component wor
转载
2023-09-18 13:52:03
93阅读
一、意图识别应用领域1、搜索引擎
2、对话系统：基于意图识别了解用户想要什么 业务 或者 闲聊，并采用不用的子模型来处理
1.1 闲聊
技术：闲聊机器人需要有较高的召回率，因此常常用：seq2seq + attention / transformer / bert ....
1.2 基于业务，例如 电商、买票、查询天气
