作为人工智能领域的基础，自然语言处理(NLP)一直是该领域最热门技术之一。近段时间，清华姚班毕业生发布了KEAR，首次常识问答超越了人类，AI不再只会“死学习”，以后再也不能说AI不懂常识了。什么是NLP？NLP是自然语音处理的简称，它是计算机科学领域与人工智能领域中的一个重要方向，是机器语言和人类语言直接沟通的桥梁，用来实现人机交流的目的，自然语言处理很多时候都是一门综合性的学问，是一门融入了语
转载
2023-08-13 22:33:04
110阅读
NLP一些常见的专有名词（持续跟新中……）词性是词语在句子中扮演的语法角色，也被称为词类（Part-Of-Speech,POS）词性标注（POS Taging)任务是给定一个句子，输出句子中每个词相应的词性。句法分析（Syntactic Parsing）的主要目标是给定一个句子，分子句子的句法成分信息，例如主谓宾定状补等成分。最终的目标是将词序列表示的句子转换成树状结构，从而有助于更准确地理解句子
说明：刚开始接触nlp，可能很多不正确的地方，进行学习总结。学习的书是《自然语言处理（基于预训练模型的方法）》(车万翔郭江)。1.1 自然语言处理的概念自然语言通常指的是人类语言（本书特指文本符号，而非语音信号）。**自然语言处理（Natural Language Processing，NLP）**主要研究用计算机理解和生成自然语言的各种理论和方法，属于人工智能领域的一个重要甚至核心分支，是计算机
SnowNLPSnowNLP是一个功能强大的中文文本处理库，它囊括了中文分词、词性标注、情感分析、文本分类、关键字/摘要提取、TF/IDF、文本相似度等诸多功能，像隐马尔科夫模型、朴素贝叶斯、TextRank等算法均在这个库中有对应的应用。如果大家仔细观察过博主的博客，就会发现博主使用了摘要提取这一功能来增强博客的sEO，即通过自然语言处理(NLP)技术，提取每一篇文章中的摘要信息。因为SnowN
转载
2023-08-14 14:20:30
248阅读
人工智能（Artificial Intelligence），英文缩写为AI。百度百科是这样介绍的：它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。下面我将用技术的层面解释人工智能的实现：一般人工智能会用到ASR和NLP技术以及其他方面的技术：ASR技术：语音识别技术，也被称为自动语音识别Automatic Speech Recognition，(ASR)，
[NLP初步] NLP是Natural Lanuage Process的缩写。搜索引擎可以通过关词匹配和完成很多的任务, 比如话题搜索(搜索包含律师, 法院, 控告等词的文档), 但是搜索引擎无法理解"给我找出所有有关在1986年到1990年之间尝试过但最终失败且金额超过100W美金的项目报告文档"这样的查询。为了完成这样的查询, 必须通过NLP技术从文档中提取出有效的信息。另外, 有些机器翻译
转载
2023-09-13 21:02:56
104阅读
NLP简述 自然语言语言处理（简称NLP）是目前应用最广的领域，从大的方面来看包括语音识别、语音合成、机器翻译、词性标注、实体识别、情感分析、推荐系统、信息检索、数据挖掘、文本分类、文本挖掘等领域。目前NLP技术的应用包括两种，一种是传统的机器学习技术，现在最新的技术是采用各种算法集成的技术；另一种是目前比较火的深度学习技术。比如在机器翻译(MT)方面，在最开始就利用的是传统的机器学习技术，比如常
转载
2023-09-18 19:56:26
130阅读
1.什么是NLP？ 人与人、人与计算机交互中的语言问题。 能力模型，通常是基于语言学规则的模型，建立在人脑中先天存在语法通则这一假设的基础上，认为语言是人脑的语言能力推导出来的，建立语言模型就是通过建立人工编辑的语言规则集来模拟这种先天的语言能力。又称“理性主义的”语言模型。 应用模型，根据不同的语言处理应用而建立的特定语言模型，通常是基于统计的模型。又称“经验主义的”语言模型，使用大规模真实语
在这篇文章中我说道在选择工作的时候有以下的考虑：
行业>方向>领域>专业
举例来说：
行业：电商行业（淘宝），O2O（美团），直播（快手），短视频（抖音）、智慧+一切 etc
方向：算法、工程、大数据 etc
领域（工业应用）：广告，搜索，推荐 【业务成熟】，量化投资，自动驾驶，语音识别 etc
专业（偏学术，学校）：nlp、cv、ml、dl、as
IT行业作为近些年中发展迅速的行业，越来越多的人选择在高考结束之后选择软件开发这个行业。主要的原因是因为这个行业所需要的人才相对来说比较的多，对于很多的专科生来说软件开发这个行业是在其他的专业中对比下来更容易竞争的过本科院校的一个专业。专科生比本科生更多的是技术上的差别。因此，如何学好java并找到工作成为了首要目标。想要学好java首先要先了解java是什么？java是一种面向对象
转载
2023-07-24 10:15:58
85阅读
NLP:命名实体识别（NER）1.NER相关简介1.1概念1.2分类2.关于NER的方法（概述）2.1基于规则的方法2.1.1概念相关2.1.2优缺点2.2基于模型的方法2.2.1基于传统机器学习的方法（主要）2.2.2基于深度学习的方法（主要）2.3混合方法3.中文NER 的难点（主要） 1.NER相关简介1.1概念命名实体识别(Named EntitiesRecognition, NER)是
转载
2023-08-16 05:06:27
57阅读
引言 新整理的最新论文又又来了，今天继续分享十篇今年最新NLP顶级论文，其中主要包括模型水印添加（想法新颖，一个不错的方向，强烈推荐仔细看一下）、状态空间模型在语言建模中的应用、指令元学习、大型模型训练效率提升（CiT可显着加快训练速度）、大模型到小模型推理能力转移(较小模型的准确性从8.11%提高到21.99%)、大模型简化（权重数量至少减少50%）、对话模型合规检测等。模型添加水印 大型语言
转载
2023-09-14 12:30:55
183阅读
1、基本术语： （1）分词 分词常用手段：基于字典的最长串匹配，但歧义分词很难。比如：美国/会/通过法案。美/国会/通过法案。 （2）词性标注 词性：动词、名词、形容词等 目的：表征词的一种隐藏状态，隐藏状态构成的转移就构成了状态转移序列。比如：我/r爱/v中国/ns。其中，ns代表名词，v是动词，ns，v都是标注。 （3）命名实体识别 指从文本中识别具有特定类别的实体（通常是名词），例如人名、地
NLP是什么而在计算机领域， NLP（Natural Language Processing），也就是人们常说的「自然语言处理」，就是研究如何让计算机读懂人类语言。这包括，既要能让计算机理解自然语言文本的意义，也能以自然语言文本来表达给定的深层的意图、思想等。 所以，这项技术往往体现了人工智能的最高任务与境界，也就是说，只有当计算机具备了理解自然语言的能力时，机器才算实现了真
转载
2023-06-01 15:48:15
407阅读
文章目录关于 NLP发展基础任务应用NLG & NLU自然语言生成 NLGNLP 的挑战资料 关于 NLPNLP：Natural Language Processing，自然语言处理。 NLP 是 AI 的一个子领域。NLP： 自然语言处理，数据是文本。 CV： 计算机视觉，数据是图像。发展萌芽期（1956年以前） 贝叶斯方法、隐马尔可夫、最大熵、支持向量机……，主流仍为基于规则的理性主
转载
2023-06-30 22:29:31
1743阅读
刚毕业后的2年自己做的是Java开发，做开发前也是进行了Java的培训，有Java的概述，，后来转行做了测试，也需要开发的基础，自学Java的时候也是从概述学起，对于简介和环境配置还是做不到熟记在心，今天以blog的形式记录一下。1、Java语言概述Java是由Sun（Stanford university network） Microsystems公司于1995年推出的面向对象程序设计
基本概念分/切词(Tokenization)基于词典的分词方法(最大匹配法、最短路径法、最大概率法)，实际用的比较多的如下：基于条件随机场（CRF）的中文分词算法的开源系统。基于张华平NShort的中文分词算法的开源系统(结巴分词核心算法)。词性标注(POS Tagging)词性，也称为词类，是词汇的语法属性，是连接词汇到句法的桥梁。 词性标注（Part-of-Speech Tagging或POS
转载
2023-09-05 13:39:32
76阅读
NLP-分词综述一、什么是分词？二、为什么要分词1、将复杂问题转化为数学问题2. 词是⼀个⽐较合适的粒度3. 深度学习时代，部分任务中也可以「分字」三、中英⽂分词的3个典型区别1.分词⽅式不同，中⽂更难2.英⽂单词有多种形态3.中⽂分词需要考虑粒度问题四、中⽂分词的3⼤难点五、3种典型的分词⽅法六、分词⼯具1.中文分词⼯具2.英文分词⼯具 一、什么是分词？分词是 ⾃然语⾔理解 - NLP 的重要
转载
2023-07-31 22:30:27
84阅读
作者：乐雨泉(yuquanle)，湖南大学在读硕士，研究方向机器学习与自然语言处理。本文谈一谈分词的那些事儿，从定义、难点到基本方法总结，文章最后推荐一些不错的实战利器。01定义先来看看维基百科上分词的定义：Word segmentation is the problem of dividing a string of written language into its component wor
转载
2023-09-18 13:52:03
93阅读
❤️觉得内容不错的话，欢迎点赞收藏加关注???，后续会继续输入更多优质内容❤️ ?有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）? （封面图由文心一格生成） 深入理解NLP中的文本匹配任务文本匹配是自然语言处理（NLP）领域中的一项重要任务，它可以用于很多应用，比如信息检索、机器翻译、对话系统等。文本匹配的目的是判断两个
