壹：语料库一、什么是语料库1. 定义 语料库（corpus）一词在语言学上意指大量的文本，通常经过整理，具有既定格式与标记。2. 种类 共时语料库与历时语料库。 &n
转载
2023-09-14 12:10:25
121阅读
为了修改论文整理van Dijk的相关篇章理论。篇章的三个主要方面：形式、意义和行为。语言理论研究的基本目标就是对这三个组成部分以及它们之间的关系进行描写。然而除此之外，篇章还有其他的一些方面，很难简单地用通常用于分析独立句子的句法学、语义学或语用学方法来描述。也就是说，我们似乎只能在被称为描写的微观层次上开展研究工作，这个层次包括语音、词汇、句型以及其意义。当然，我们也需要一个更全面、更宏观的层
# 篇章分析 NLP 入门指南
## 引言
自然语言处理（NLP）是计算机科学与语言学结合的一个重要领域。在进行篇章分析时，我们主要关注文本的结构、主题、情感等。这篇文章将带领初学者了解如何使用 Python 进行篇章分析，并提供完整的流程、代码示例以及相关的图表。
## 流程概述
在进行篇章分析时，我们可以按照以下步骤操作：
| 步骤 | 描述 |
|
在上一部分中，我们介绍了语义分析的基本内容（自然语言处理NLP（10）——语义分析），重点介绍了格文法和语义角色标注（SRL）。 在这一部分中，我们将介绍篇章分析相关内容。在介绍具体内容之前，我们首先要理解这样一个问题：什么是篇章？ 篇章是由一个以上的句子（sentence）或语段（utterance）构成的有组织、有意义的自然语言文本整体。一篇文章、一段会话等都可以看成篇章。构成篇章的句子（或语
转载
2023-08-18 15:35:17
89阅读
文章目录1 什么是NLP1.1 NLP的两大任务1 NLU 自然语言理解2 NLG 自然语言生成1.2 NLP的发展和技术路线1 基于传统机器学习的NLP流程2 基于深度学习的NLP流程3 方法路线1.3 目前研究方向2 词法分析（Lexical Analyse）2.1 分词1. 为什么需要分词？2. 中英文分词的区别3. 中文分词的难点4. 分词方法5 分词知识图谱2.2 词性标注1 什么是词性
转载
2023-10-16 12:55:59
128阅读
【火炉炼AI】机器学习037-NLP文本分块(本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2， NLTK 3.3)文本分块是将一大段文本分割成几段小文本，其目的是比如想获取一段文本中的一小部分，或分割得到固定单词数目的小部分等，经常用于非常大的文本。注意文本分块和分词不一样，分词的目的是把一段
目录
NLP基本流程NLP应用场景NLP技术流一、自然语言处理的基本流程
分词
命名实体识别，主要有人名，地名，机构名等
词性标注，对分词后的词语进行语义标注
句法分析，主要是要构建语法树，标注单词，短语，句子的语法
语义分析，包括两部分：语义消歧，主要是针对多义词在文中的意思；语义角色标注，主要是要标出一个句子中主谓宾状语等。语义角色标注过于依赖句法分析的准确性，不过目前自动句法分析的准确性并不
转载
2023-07-14 16:38:54
113阅读
nlp文本分类 Text classification is one of the important applications of NLP. Applications such as Sentiment Analysis and Identifying spam, bots, and offensive comments come under Text Classification. Unt
文章目录1. 概述2. 模型架构 1. 概述 通过预训练语言表征完成NLP任务主要分为两大类：feature-base、fine-tuning。前者如ELMo，它将学习的表征作为feature提供给下面的任务，下游任务提供模型；后者如Open GPI、ULMFiT，它们在fine tune预训练中学习到参数，不需要下游提供task-specific的模型。这两类在预训练时都使用了同样的目标函数
作者：哈工大SCIR 聂润泽1.摘要现今神经机器翻译系统已取得很好的
转载
2022-11-14 15:22:40
280阅读
六、文本分类 目录六、文本分类来源1.1 部分分类任务1.2 加载数据1.3 数据预处理1.4 微调预训练模型1.5 超参搜索 来源Datewhle29期__NLP之transformer :erenup(多多笔记)，北京大学，负责人张帆，Datawhale，天津大学，篇章4张贤，哈尔滨工业大学，篇章2李泺秋，浙江大学，篇章3蔡杰，北京大学，篇章4hlzhang，麦吉尔大学，篇章4台运鹏 篇章2张
（四）Latex的篇章结构<1>Article\documentclass{ctexart} %设置标题的格式（参数详情查看ctex宏包文档）\ctexset{ section = { format += \zihao{-4} \heiti \raggedright, name = {, 、}, number = \chinese{section...
原创
2021-06-21 15:39:09
301阅读
NLP知识结构概述1)自然语言处理：利用计算机为工具，对书面实行或者口头形式进行各种各样的处理和加工的技术，是研究人与人交际中以及人与计算机交际中的演员问题的一门学科，是人工智能的主要内容。2)自然语言处理是研究语言能力和语言应用的模型，建立计算机(算法)框架来实现这样的语言模型，并完善、评测、最终用于设计各种实用系统。3)研究问题(主要)：信息检索机器翻译文档分类问答系统信息过滤自动
转载
2023-05-26 02:58:30
38阅读
1、知识图谱的直观展示：知识图谱本质上是一种语义网络，将客观的经验沉淀在巨大的网络中；结点代表实体或者概念；边代表实体/概念之间的关系；2、知识图谱的表示方法构成知识图谱的核心三元组三元组：实体、属性、关系，Entity、Attribute、Relation抽取为<实体1，关系，实体2>和<实体1，属性1，属性值1>例如<达观数据，is-a，人工智能公司><
# 前言 自然语言处理任务中，有很重要的一块，就是分析语言的结构。语言的结构，一般可以有两种视角： 1. 组成关系（Constituency） 句法结构分析（syntactic structure parsing），又称短语结构分析（phrase structure parsing），也叫成分句
转载
2023-10-12 13:07:33
123阅读
# NLP 树结构：理解语言的层次结构
自然语言处理（NLP）是人工智能领域的一部分，它使计算机能够理解、解读和生成自然语言。树结构是 NLP 中用来表示语言层次的一种有效方式。本文将通过代码示例和图示来解释树结构的概念及其在 NLP 中的应用。
## 什么是树结构？
树结构由节点（表示词语或短语）和边（表示关系）组成，通常呈现为一种层次化的关系。以句子为例，主句可以作为根节点，而词汇和短语
目录1. 什么是知识图谱2. 知识图谱的应用2.1 搜索引擎2.2 问答系统2.3 智能客服2.4 智能推荐2.5 自然语言处理3. 知识图谱的发展趋势3.1 多模态知识图谱3.2 开放和共享3.3 自主学习3.4 知识推理3.5 去中心化4. 常见的原生知识图谱存储管理方式包括：4.1 图数据库4.2 三元组存储4.3 知识图谱存储框架5. 知识图谱查询语言5.1 SPARQL5.2 Grem
转载
2023-08-10 01:15:45
38阅读
伴随着产业智能化升级的浪潮，企业对灵活可定制的智能NLP系统有着广泛需求。例如，保险公司希望通过智能客服平台向客户提供24小时问答服务，同时也想建设企业内搜平台向员工提供精准、高效的搜索服务。然而众多企业自建这些复杂系统所耗费的人力成本和时间成本巨大，成为产业智能化升级的 “拦路虎” 。为了解决上述难题，PaddleNLP推出NLP流水线系统———PaddleNLP Pipe
四个阶段自然语言是复杂的符号（词，短语，句子）系统 比ordinary符号更多的内部结构， 以下四层：phonological，individual sounds，书写语言，符号，字母；（最低）词素morphological，morphemes级别，最小意思语言单元，或者组成词；syntactic，词组成句子semantic，meaning级，（前三个都不涉及meaning,只是sign），例如语
转载
2023-07-08 11:32:34
253阅读
引言： 本次整理的论文主要偏向于Open-Domain QA，其中主要涉及到混合注意力方法、预训练模型分析、BERT预训练模型优化、QA数据集、问答跳转等。本次论文获取方式： 1、百度云链接，提取码：a2cz 2、关注AINLPer 微信公众号（每日更新…）回复：QA002 3、知乎主页–ShuYini1、TILE: Compositional De-Attention NetworksAutho
