在讲述了大量的概率图模型后，本篇介绍下它发挥作用的主要场景——序列标注（Sequence Labaling）。序列包括时间序列以及general sequence，但两者无异。连续的序列在分析时也会先离散化处理。常见的序列有如：时序数据、本文句子、语音数据、等等。常见的序列问题有：拟合、预测未来节点（走势分析，如股票预测、销量预测等）判定序列所属类别，即分类问题（如语音识别，判断声音序列所属来源）
转载
2023-08-21 20:27:04
11阅读
深度学习最迷人的地方在于，它基础概念极简，我们很容易理解的线性变换，说白了，就是y=ax+b，换成矩阵就是y=x.W +b。然后加一个非线性的激活函数，比如logistic,relu等，就构成了一个基本的神经信号单元。但它的内涵和外延变化都是近乎无穷的。首先参数矩阵从维度，初始化是任意的，网络的层数是任意的，还是网络的连接方式也是任意的，激活函数也是可以更换的。这就有无穷种可能性。传统的机器学习
转载
2023-12-01 22:47:57
60阅读
前言为什么要用LSTM 因为简单的RNN很容易就发生梯度消失和梯度爆炸，其中主要的原因是RNN中求导，引起的链式法则，对时间上的追溯，很容易发生系数矩阵的累乘，矩阵元素大于1，那么就会发生梯度爆炸；矩阵元素小于1，就会发生梯度消失。LSTM通过门的控制，可以有效的防止梯度消失，但是依旧可能出现梯度爆炸的问题，所以训练LSTM会加入梯度裁剪（Gradient Clipping）。在Pytorch中梯
转载
2024-02-07 14:21:29
85阅读
在自然语言处理领域，BERT模型因其强大的上下文理解能力而被广泛应用于序列标注任务，如命名实体识别（NER）、词性标注等。然而，随着PyTorch版本的不断更新，如何高效地实现基于BERT的序列标注任务，成为了开发者们面临的一个挑战。下面就来具体探讨一下这个过程。
### 背景定位
在使用PyTorch实现BERT序列标注的过程中，我们并不是一开始就能够顺利地运行我们的模型。最初在执行简单的测试
1.函数介绍import torch.nn.functional as F
F.normalize(input: Tensor, p: float = 2.0, dim: int = 1) -> Tensor
input: 是一个任意维度的Tensor类型的数据
p：默认为2，表示2范数；同理，p=1表示1范数
dim：（后面我会总结，先这样解释，方便大家理解，看完例子再看我总结的，会很清
转载
2023-08-11 09:25:06
257阅读
补充PyTorch入门（一）1. 张量在同构的意义下： 第零阶张量 （r = 0） 为标量 （Scalar）， 第一阶张量 （r = 1） 为向量 （Vector）， 第二阶张量 （r = 2） 则成为矩阵 （Matrix）， 第三阶以上的统称为多维张量。如果张量中只有一个元素，可以用tensor.item()取出其数值Tensor的基本数据类型有五种：32位浮点型：torch.FloatTens
转载
2023-10-16 16:11:29
80阅读
在这篇博文中，我将系统地记录使用 PyTorch 实现中文序列标注的过程。这一过程涉及多个模型的结合，旨在构建一个高效、准确的序列标注系统，以满足中文文本处理的需求。
### 背景描述
中文序列标注是一项重要的自然语言处理任务，广泛应用于信息抽取、命名实体识别等场景。为了解决这一问题，我的思路是利用多模型的架构来增强模型的表现。在此过程中，我将使用四象限图来映射不同模型的优劣。
```mer
一、序列标注 序列标注（Sequence labeling）是我们在解决NLP问题时经常遇到的基本问题之一。在序列标注中，我们想对一个序列的每一个元素标注一个标签。一般来说，一个序列指的是一个句子，而一个元素指的是句子中的一个词。比如信息提取问题可以认为是一个序列标注问题，如提取出会议时间、地点等。 序列标注一般可以分
转载
2023-11-24 20:57:06
194阅读
序列标注序列标注序列标注1.E2ECRF-2016
原创
2021-08-02 14:45:12
160阅读
序列标注模型 背景知识序列标注模型被广泛应用于文本处理相关领域，例如分词、词性标注、命名实体识别等方面。现有的序列标注模型主要有HMM，MEMM 以及 CRF，通过对这几种自然语言处理中常用的序列标注模型进行对比，分析其各自的优缺点。在介绍三种序列标注模型之前，首先需了解下产生式模型与判别式模型的概念，二者在分类器中经常被提
转载
2023-07-28 08:24:21
294阅读
PyTorch数据集归一化- torchvision.transforms.Normalize()在本集中，我们将学习如何规范化数据集。我们将看到如何在代码中执行数据集归一化，还将看到归一化如何影响神经网络训练过程。数据归一化数据归一化的概念是一个通用概念，指的是将数据集的原始值转换为新值的行为。新值通常是相对于数据集本身进行编码的，并以某种方式进行缩放。特征缩放出于这个原因，有时数据归一化的另一
转载
2023-11-07 12:44:08
71阅读
说明：公式推导比较复杂，我也没看懂，权且简单记录粗略概念。 文章目录隐马尔科夫模型 HMM条件随机场 CRFHMM与CRF的区别基于网络学习和结构学习方法的对比 序列标注：输入一个序列，输出也是一个序列。如词性标注、分词、命名实体识别等。 John(PN) saw(V) the(D) saw(N). 需要理解整个句子含义才能标注正确----全局。隐马尔科夫模型 HMM首先基于语法产生一个词性序列
转载
2024-01-06 08:52:02
75阅读
!pip install datasets transformers seqeval如果您正在本地打开这个notebook，请确保您已经进行上述依赖包的安装。您也可以在这里找到本notebook的多GPU分布式训练版本。序列标注（token级的分类问题）序列标注，通常也可以看作是token级别的分类问题：对每一个token进行分类。在这个notebook中，我们将展示如何使用? Transform
转载
2024-05-16 08:26:22
107阅读
环境：TensorFlow 1.13.1 模型：BiLSTM-CRF 目录一、任务描述二、数据说明三、模型架构概述模型结构模型实现细节四、代码 一、任务描述用seq_tag/data_path 中的数据训练模型，来完成序列标注任务（命名实体识别），识别出文本中的人名、地名和组织机构名。二、数据说明注：该数据集为小规模中文数据集，来自于98年人民日报NER语料1.标签说明 { B-PER：人名开始
github地址：https://github.com/jiesutd/NCRFpp一、网页翻译NCRF++: An Open-source Neural Sequence Labeling ToolkitNCRF++:一个开源的神经序列标注工具包Sequence labeling模型在许多NLP任务中都很流行，如命名实体识别(NER)、词性标注(POS)和分词。最先进的序列标注模型大采用了CRF
转载
2023-12-23 19:37:49
177阅读
# 使用PyTorch进行词性标注
词性标注（Part-of-Speech Tagging，POS Tagging）是自然语言处理中的一项基础任务，旨在为每个单词分配一个表示其语法类别的标签，如名词、动词、形容词等。本文将介绍如何使用PyTorch来实现一个简单的词性标注模型，并通过示例代码进行演示。
## 1. 词性标注的背景
词性标注是理解和分析自然语言的关键步骤，它可以帮助后续的文本分
原创
2024-10-20 05:31:45
29阅读
ResNetResNet(Residual Network，残差网络）缓解了深度网络难以训练的问题，它的思想在于让卷积网络学习残差映射而非直接映射。 它的假设是残差映射H(x)-x比H(x)更容易训练，至于理论推导…看不懂ResNet的一个残差模块称为Bottleneck，以ResNet-50的一个卷积组为例尝试构造Bottleneckimport torch
from torch import
# 使用 PyTorch 进行数据标注的入门指南
在深度学习的项目中，数据标注是非常重要的一步。特别是在使用 PyTorch 进行图像分类、目标检测或语义分割等任务时，数据必须经过精确的标注才能训练出有效的模型。本文将指导你如何在 PyTorch 中实现数据标注的过程。
## 数据标注流程
以下是数据标注的整体流程：
| 步骤 | 描述
最近遇到个新的问题，要对序列标注任务使用交叉熵获得损失，由于没有在网上查找到相关资料，所以就自己整理了一份如何调库的方法。对于文本分类等任务而言，其模型输出的数据格式为 ，这类方法采用 Pytorch 的交叉熵很简单，代码如下：import torch
import torch.nn as nn
# output shape: torch.Size([4, 2])
output = torch
一、viterbi算法原理及适用情况当事件之间具有关联性时，可以通过统计两个以上相关事件同时出现的概率，来确定事件的可能状态。以中文的词性标注为例。中文中，每个词会有多种词性（比如"希望"即是名字又是动词），给出一个句子后，我们需要给这个句子的每个词确定一个唯一的词性，实际上也就是在若干词性组合中选择一个合适的组合。动词、名词等词类的搭配是具有规律性的，比如动词+名词的形式是大量存在的，当我们看到
转载
2024-06-05 12:57:07
81阅读
