文章目录一、NLP常见语言模型1、词的离散表示1、One-hot编码（独热编码）2、Bag of Words（BOW，词袋模型）3、N-gram语言模型2、词的分布式表示1、共现矩阵（Co-currence Matrix）2、神经网络语言模型（Neural Network Language Model，NNLM）3、Word2Vec，GloVe，Doc2Vec，Fasttext，Elmo，Ber
转载
2023-07-31 21:15:29
124阅读
文言文句式: 总分两大类：固定句式、特殊句式。 文言文的句式，跟白话文的句式，有的相同，有的很不相同。即使是相同的句式，文言文句式也有它自己的特点。 文言句式包括：判断句、被动句、疑问句、否定句、词序（倒装句）、成份省略（省略句）和固定结构（习惯句式）。除了“疑问句、否定句”之外，其他叫特殊句式（指
原创
2021-12-29 14:18:07
126阅读
NLP知识结构概述1)自然语言处理：利用计算机为工具，对书面实行或者口头形式进行各种各样的处理和加工的技术，是研究人与人交际中以及人与计算机交际中的演员问题的一门学科，是人工智能的主要内容。2)自然语言处理是研究语言能力和语言应用的模型，建立计算机(算法)框架来实现这样的语言模型，并完善、评测、最终用于设计各种实用系统。3)研究问题(主要)：信息检索机器翻译文档分类问答系统信息过滤自动
转载
2023-05-26 02:58:30
38阅读
Jenkinsfile 邮件报警需要安装emailext插件，这个插件可以把jenkins发布的日志加到邮件中，以及使用模板 脚本式 jenkins pipeline 发送邮件 // 自定义信息 //harbor 仓库名称, 例如mobile,computer,testmonitor等等 def h ...
转载
2021-04-24 04:14:00
486阅读
2评论
1、知识图谱的直观展示：知识图谱本质上是一种语义网络，将客观的经验沉淀在巨大的网络中；结点代表实体或者概念；边代表实体/概念之间的关系；2、知识图谱的表示方法构成知识图谱的核心三元组三元组：实体、属性、关系，Entity、Attribute、Relation抽取为<实体1，关系，实体2>和<实体1，属性1，属性值1>例如<达观数据，is-a，人工智能公司><
壹：语料库一、什么是语料库1. 定义 语料库（corpus）一词在语言学上意指大量的文本，通常经过整理，具有既定格式与标记。2. 种类 共时语料库与历时语料库。 &n
转载
2023-09-14 12:10:25
121阅读
# 前言 自然语言处理任务中，有很重要的一块，就是分析语言的结构。语言的结构，一般可以有两种视角： 1. 组成关系（Constituency） 句法结构分析（syntactic structure parsing），又称短语结构分析（phrase structure parsing），也叫成分句
转载
2023-10-12 13:07:33
123阅读
# NLP 树结构：理解语言的层次结构
自然语言处理（NLP）是人工智能领域的一部分，它使计算机能够理解、解读和生成自然语言。树结构是 NLP 中用来表示语言层次的一种有效方式。本文将通过代码示例和图示来解释树结构的概念及其在 NLP 中的应用。
## 什么是树结构？
树结构由节点（表示词语或短语）和边（表示关系）组成，通常呈现为一种层次化的关系。以句子为例，主句可以作为根节点，而词汇和短语
伴随着产业智能化升级的浪潮，企业对灵活可定制的智能NLP系统有着广泛需求。例如，保险公司希望通过智能客服平台向客户提供24小时问答服务，同时也想建设企业内搜平台向员工提供精准、高效的搜索服务。然而众多企业自建这些复杂系统所耗费的人力成本和时间成本巨大，成为产业智能化升级的 “拦路虎” 。为了解决上述难题，PaddleNLP推出NLP流水线系统———PaddleNLP Pipe
四个阶段自然语言是复杂的符号（词，短语，句子）系统 比ordinary符号更多的内部结构， 以下四层：phonological，individual sounds，书写语言，符号，字母；（最低）词素morphological，morphemes级别，最小意思语言单元，或者组成词；syntactic，词组成句子semantic，meaning级，（前三个都不涉及meaning,只是sign），例如语
转载
2023-07-08 11:32:34
253阅读
目录1. 什么是知识图谱2. 知识图谱的应用2.1 搜索引擎2.2 问答系统2.3 智能客服2.4 智能推荐2.5 自然语言处理3. 知识图谱的发展趋势3.1 多模态知识图谱3.2 开放和共享3.3 自主学习3.4 知识推理3.5 去中心化4. 常见的原生知识图谱存储管理方式包括：4.1 图数据库4.2 三元组存储4.3 知识图谱存储框架5. 知识图谱查询语言5.1 SPARQL5.2 Grem
转载
2023-08-10 01:15:45
38阅读
引言： 本次整理的论文主要偏向于Open-Domain QA，其中主要涉及到混合注意力方法、预训练模型分析、BERT预训练模型优化、QA数据集、问答跳转等。本次论文获取方式： 1、百度云链接，提取码：a2cz 2、关注AINLPer 微信公众号（每日更新…）回复：QA002 3、知乎主页–ShuYini1、TILE: Compositional De-Attention NetworksAutho
NLP是如何工作的：把自然语言(尽可能)结构化1)计算机非常擅长使用结构化数据，例如电子表格和数据库表。世界上很多信息是非结构化的——例如英语或其他人类语言中的原始文本。2)阅读和理解英语的过程是非常复杂的，这个过程甚至没有包括考虑到英语有时并不遵循逻辑和一致的规则。在机器学习中做任何复杂的事情通常意味着需要建立一条流水线 (pipeline)。这个想法是把你的问题分解成非常小的部分，然后用机器学
NLP论文：BERT各层表示在不同NLP任务上的解释 笔记论文介绍模型结构文章翻译Abstract1 Introduction2 Model3 Metrics3.1 Scalar Mixing Weights3.2 Cumulative Scoring4 Results4.1 Per-Example Analysis5 ConclusionA Appendix相关视频相关的笔记相关代码pytor
一、简介首先放一张基于Language Model的NLP主要模型算法梳理框图。NLP语言模型可分为传统语言模型与神经语言模型。简言之，语言模型就是给句子（词序列）分配一个概率。这个概率表示这句话“合理程度”。举个例子：你儿子在我手上，快点把打过来。 prob=0.80
# 这样一个句子，非常“通顺”，就得到一个很高的概率值。
特朗普在厕所里摆满了多个艺员。 prob=0.20
# 这样一个句子，
转载
2023-08-03 23:35:40
94阅读
一、语法分析语法分析是自然语言处理中一个重要的任务，其目的是分析句子的语法结构并将其表示为容易理解的结构。语法分析是所有工具性NLP任务中较为高级、较为复杂的一种任务。二、短语结构树短语结构语法是分析句子如何产生的方法。由于语言满足复合性原理，通过分解句子为短语、分解短语为单词，下游应用将会得到更多更深层次的结构化信息。复合性定理是指，一个复杂表达式的意义是由其各个组成部分的意义以及用以结合它们的
转载
2023-09-01 23:26:51
50阅读
语言模型，本质上就是在回答“这个句子是否合理”的问题。下面，将简单介绍两类语言模型，统计语言模型、神经网络语言模型。1. 统计语言模型统计语言模型，以n-gram语言模型为代表，是离散的计算模型，根据n个词(有序的)在语料库中共现的频次计算概率，最终可以得到句子出现的概率(句子的合理性)。n-gram模型，大致可以理解为，我们有一个很长的句子序列，所有的概率计算都要依靠滑窗实现，n就是滑窗的大小，
转载
2023-07-31 23:14:34
79阅读
文本匹配和语义匹配1、什么是文本匹配？文本匹配是自然语言处理中一个重要的基础问题，可以应用于大量的NLP任务中，如信息检索、问答系统、复述问题、对话系统、机器翻译等，这些NLP任务在很大程度上可以抽象为文本匹配问题。例如网页搜索可抽象为网页同用户搜索Query的一个相关性匹配问题，自动问答可抽象为候选答案与问题的满足度匹配问题，文本去重可以抽象为文本与文本的相似度匹配问题。2、文本匹配方法概述2-
转载
2023-09-27 21:28:26
128阅读
一、语法分析语法分析是自然语言处理中一个重要的任务，其目的是分析句子的语法结构并将其表示为容易理解的结构。语法分析是所有工具性NLP任务中较为高级、较为复杂的一种任务。二、短语结构树短语结构语法是分析句子如何产生的方法。由于语言满足复合性原理，通过分解句子为短语、分解短语为单词，下游应用将会得到更多更深层次的结构化信息。复合性定理是指，一个复杂表达式的意义是由其各个组成部分的意义以及用以结合它们的
转载
2023-09-01 23:26:51
60阅读
# NLP Llama模型结构及应用
自然语言处理（Natural Language Processing，NLP）是人工智能领域重要的研究方向之一，它致力于让计算机能够理解和处理人类语言。NLP的应用非常广泛，包括机器翻译、自动问答、情感分析等。在NLP领域中，有许多模型被提出来解决不同的问题，其中Llama模型是一种常用的模型之一。
## Llama模型的结构
Llama模型是一种基于深
