自然语言处理总复习（五）—— 词义消歧一、相关概念与预备知识（一）词义消歧1. 定义2. 词义消歧需要解决的三个问题3. 应用（二）预备知识1. 有监督学习和无监督学习2. 伪词3. 算法效能评估 —— 上界和下界二、有监督的消歧方法（一）基于贝叶斯分类的词义消歧1. 概念介绍及准备工作2. 计算公式推导3. 词义排歧算法（Disambiguation）（二）基于互信息的词义消歧1. 核心思想2
转载
2024-05-16 11:00:47
135阅读
写在前面最近刚开始调研实体消歧方面的相关工作，这里先开一个头吧。希望大家可
转载
2022-09-01 12:37:48
878阅读
6.8 歧义消解1、在包含表达式语句和声明的语法中存有歧义：以函数式显示类型转换（5.2.3）为最左子表达式的表达式语句可能无法同第一个声明符以左括号开头的声明区分开来。在这种情况下，语句是一个声明（即当一个语句即能为表达式语句又能为声明语句的时候，优先把它当成是声明语句）。[注：为了消歧，可能需要检查整个语句以确定其为一个表达式语句还是声明。许多例子都可用此法消除歧义。例如：假定T为simple
NLP From Scratch: 生成名称与字符级RNN这是我们关于“NLP From Scratch”的三个教程中的第二个。 在<cite>第一个教程< / intermediate / char_rnn_classification_tutorial ></cite> 中，我们使用了 RNN 将名称分类为来源语言。 这次，我们将转过来并使用语言生成名称。&
转载
2024-09-27 15:29:38
55阅读
# PaddleNLP 指代消歧
指代消歧（Coreference Resolution）是自然语言处理（NLP）中的一个重要任务，旨在识别和解决文本中的代词所指的具体内容。在实际应用中，指代消歧对于理解和处理文本中的关联性非常重要，尤其是在机器翻译、问答系统和文本生成等任务中。
PaddleNLP 是飞桨（PaddlePaddle）生态系统中的自然语言处理工具库，提供了丰富的预训练模型和工具
原创
2024-01-12 04:01:59
211阅读
1评论
【什么是对象图】 静态快照，这张照片描述了一系列对象的状态值和它们之间的链接。【对象图的组成】 对象图=对象+链 对象 对象就是真实世界中的一个物理上或概念上具有自己状态和行为的实体，并且对象可以是抽象的。 特性：标识（名字），行为（方法，属性），
一 序 本文属于贪心NLP学习笔记系列。 leaning 学习逻辑：通过历史数据学习模型，通过模型来预测未来。二 学习的两种主流方式根据AI 发展的历程，可以分为两个branch 专家系统：基于规则 基于于概率的系统（Probabilistic）：给定数据D={X，y} 学习X到y的映射关系数据量大则优先使用基于概率的系统；若数据量小或没有
转载
2023-11-26 19:15:02
77阅读
文章目录前言一、什么是欧式距离二、测试代码三、测试结果总结 前言 语言千千万，谁是你的最爱？我推Mojo（咒语），因为Mojo可以让Python（蟒蛇）变成龙。本章就来比一比Mojo和Python谁更快。使用的Mojo版本是0.4.0。一、什么是欧式距离 图中两个点，一个蓝色，一个红色，他们之间的欧式距离为多少？答案非常简单。 很简单的吧。 上面的只是二维空间的计算方式，如果是三维，
转载
2024-07-04 19:00:53
30阅读
作者 | Nesrine Sfar编译 | VK来源 | Towards Data Science如果你点开这篇文章，这意味着你有足够的
转载
2022-07-30 00:49:10
294阅读
本文出自斯坦福 NLP 组，发表在 EMNLP 2016，其将深度强化学习应用于指代消解领域是一大创新，相较于其他方法有很好的效果提升。指代消解是自然语言处理的一大研究领域，常见的指代消解算法多数模型采用启发式损失函数，不同消解任务为达到良好的使用效果需要对调整损失函数超参数。常见的指代消解算法有 Mention Pair、Mention Rank、Entity Mention 等等，本文将深度强
命名实体消歧（Named Entity Disambiguation，NED）是自然语言处理（NLP）中的一个重要任务，其目标是识别文本中的命名实体，并确定它们在现实世界中的唯一对应实体。命名实体包括人名、地名、组织名、日期、时间、货币等。
NED模型是用于解决NED问题的算法或系统。这些模型通常利用深度学习技术，特别是序列到序列（seq2seq）模型、循环神经网络（RNN）、卷积神经网络（CNN
原创
2024-09-06 11:16:30
252阅读
词义消除歧义NLP项目实验本项目主要使用https://github.com/alvations/pywsd 中的pywsd库来实现词义消除歧义目前，该库一部分已经移植到了nltk中，为了获得更好的性能WSD，而不是使用的NLTK模块pywsd库。一般来说，从pywsd的simple_lesk()比NLTK的lesk好。当我有空时，我会尽量更新NLTK模块。在本文档中主要介绍原pyws
转载
2023-09-29 10:04:48
128阅读
1. 简介实体链接（entity linking)是指将自然语言文本中出现的实体提及（entity mention)关联到对应知识图谱实体上去的任务。实体链接是很多自然语言处理任务的基础，例如知识图谱构建、信息／事件抽取、语意搜索和智能问答等。按照自然语言文本长度的不同，该任务可以进一步分为长文本实体链接和短文本实体链接两类：长文本实体链接任务的输入通常是一篇文档（例如一篇 Wikipedia文章
转载
2023-12-18 07:03:49
170阅读
共指消解（coreference resolution）技术同NER、RE。作为自然语言历届基础技术被广泛的应用于：文本摘要、机器翻译、自动问答和知识图谱等领域。共指消解的提出是为了识别一段文本中指向同一实体的不同表述。在自然文本中，经常出现同一个实体的不同表述．例如，“【陈奕迅】，英文名【Eason Chan】， 1974年7月出生于香港．【他】是当今华语乐坛的当红歌手．”这句+话中，【陈奕迅】
转载
2023-08-31 18:17:12
170阅读
在本期文章中，小生向您介绍了自然语言工具包（Natural Language Toolkit），它是一个将学术语言技术应用于文本数据集的 Python 库。称为“文本处理”的程序设计是其基本功能；更深入的是专门用于研究自然语言的语法以及语义分析的能力。 鄙人并非见多识广， 语言处理（linguistic processing） 是一个相对新奇的领域。如果在对意义非凡的自然语言工具包（N
转载
2023-07-05 20:33:47
136阅读
要为高亮的关键词提供最符合上下文的解释，需要不仅仅依赖于通用的词典定义，而是根据关键词在具体文本中的使用情况来生成定义。这通常涉及到上下文感知的词义消歧（Word Sense Disambiguation, WSD），以确保提供的解释与文章中的用法一致。实现这一目标的常见方法是使用大型语言模型（如 OpenAI 的 GPT-4），因为它们能够理解上下文并生成符合特定语境的定义。以下是实现这一功能的
原创
精选
2024-09-23 17:27:07
353阅读
词法分析（Lexical Analysis) 是编译的第一阶段。词法分析器的主要任务是读入源程序的输入字符、将他们组成词素，生成并输出一个词法单元序列，每个词法单元对应一个词素。这个词法单元序列被输出到语法分析器进行语法分析。 知识储备词法单元：由一个词法单元名和一个可选的属性值组成。词法单元名是一个表示某种词法单位的抽象符号，比如一个特定的关键字，或者代表一个标识符的输入字符序列。
