概述虽然tensorflow2.0发布以来还是收获了一批用户，但是在自然语言处理领域，似乎pytorch见的更多一点。关系抽取是目前自然语言处理的主流任务之一，遗憾没能找到较新能用的开源代码。一方面是因为关系抽取任务的复杂性，目前数据集较少，且标注的成本极高，尤其是中文数据集，所以针对该任务的数据集屈指可数，这也限制了这方面的研究。另一方面，关系抽取任务的复杂性，程序多数不可通用。github上有
转载
2023-08-11 19:51:34
110阅读
1. 函数汇总Tensor 的基本运算会对 tensor 的每一个元素进行操作，此类操作的输入与输出形状一致，常用操作见下表所示。 对于很多操作，例如 div、mul、pow、fmod、等， PyTorch 都实现了运算符重载，所以可以直接使用运算符，如 a ** 2 等价于 torch.pow(a, 2), a *2 等价于 torch.mul(a, 2)。2. 函数功能2.1 torch.ab
转载
2024-06-09 13:15:30
54阅读
反向传播（BP算法）python实现1、BP算法描述BP算法就是反向传播，要输入的数据经过一个前向传播会得到一个输出，但是由于权重的原因，所以其输出会和你想要的输出有差距，这个时候就需要进行反向传播，利用梯度下降，对所有的权重进行更新，这样的话在进行前向传播就会发现其输出和你想要的输出越来越接近了。上面只是其简单的原理，具体实现起来其实就是利用了链式法则，逐步的用误差对所有权重求导，这样便反向得到
转载
2023-08-24 20:38:30
139阅读
花书第10.2.2节的计算循环神经网络的梯度看了好久，总算是把公式的推导给看懂了，记录一下过程。 首先，对于一个普通的RNN来说，其前向传播过程为： $$\textbf{a}^{(t)}=\textbf{b}+\textbf{Wh}^{t-1}+\textbf{Ux}^{(t)}$$ $$\text
转载
2020-10-11 14:48:00
473阅读
2评论
Backpropagation Through Time (BPTT) 梯度消失与梯度爆炸 下面的图显示的是RNN的结果以及数据前向流动方向 假设有 $$ \begin{split} h_t &= \tanh W\begin{pmatrix}x_t \\ h_{t 1}\end{pmatrix}\\
转载
2018-11-14 10:57:00
290阅读
2评论
激活函数到目前为止，我们使用的激活函数全部都是σ
σ
函数，然而这并不一定是最好的函数，有时其他可选的函数效果也很好，下面我们来介绍一下其他的函数。如图所示，我们在这里使用σ
σ
函数作为激活函数。我们现在使用g(z(x))，作为更一般的可以使用的函数。我们这里介绍一下tan
转载
2024-04-14 13:57:58
53阅读
附上y=2x-b拟合的简单的代码.
原创
2022-02-23 16:51:23
289阅读
循环神经网络的反向传播算法其实只是BP算法的一个简单变体而已。首先我们先看看循环神经网络的前向传播算法：需要注意的是，该RNN中前一时刻到当前时刻只有一个权重矩阵，该权重矩阵与时间并没有什么关系。整个前向传播算法与BP网络的前向传播算法的差别是多了一个前一时刻隐藏层的信息而已。在我们这边的前向传播算法可能与大家平时看到的会有点出入，因为这个前向传播算法将传播过程中的各个阶段都拆分开来表示。在进入激
原创
2021-05-07 17:14:35
3769阅读
RNN网络结构上图就是一个最简单的RNN，图看上去密密麻麻，有点玄虚。下面细细道来。首先我们看图的左边，这个网络分为三层，输入层（紫色表示），隐藏层（绿色表示），输出层（黄色表示），其中隐藏层在RRN中也称之为循环层，为什么称之为循环后，后面再说。相邻的两层是全连接网络，比如输入层到循环层，两层中每个神经元都互相连接。数据会从输入层进入到网络中，与ANN不同的是，这里的一个样本是一个...
原创
2021-07-16 09:47:40
10000+阅读
一、RNN简介循环神经网络（Recurrent Neural Network，RNN）是一类专门用于处理时序数据样本的神经网络，它的每一层不仅输出给下一层，同时还输出一个隐状态，给当前层在处理下一个样本时使用。就像卷积神经网络可以很容易地扩展到具有很大宽度和高度的图像，而且一些卷积神经网络还可以处理不同尺寸的图像，循环神经网络可以扩展到更长的序列数据，而且大多数的循环神经网络可以处理序列长度不同的
转载
2023-05-18 11:21:31
104阅读
如果说卷积神经网络是为了解决图像识别而提出的，那么循环神经网络（Recurrent Neural Network）就是为了解决自然语言处理而提出的，当然实际上这两种神经网络的用途很广，但是从自然语言处理的角度去看待循环神经网络可以更容易理解它的特性。自然语言处理（Natural Language Processing），简单来说就是让计算机理解人类的语言，从而解决相关的问题，比如现在有一句话"我上
转载
2023-08-23 21:14:57
82阅读
## BPTT循环神经网络
在深度学习领域，循环神经网络（Recurrent Neural Network, RNN）是一种常用的神经网络模型。它在处理序列数据时表现出色，如自然语言处理和语音识别等任务。其中，BPTT（Backpropagation Through Time）是一种用于训练RNN的反向传播算法。
### 什么是循环神经网络？
循环神经网络是一种具有“记忆”能力的神经网络模型
原创
2023-07-08 09:13:03
218阅读
目录1.基本原理1.1 直接用求导的解析式来更新参数 1.2 反向传播的原理 1.3 tensor的存储数据以及基本应用思想1.4 总结2. pytorch反向传播实例2.1 完整代码2.2 二次模型y=w1x²+w2x+b，损失函数loss=(ŷ-y)²2.2.1 定义参数w1,w2,b都需要计算梯度2.2.2 定义训练模型并构建计算图2.2.3 训练数据
转载
2024-03-25 15:23:26
68阅读
PyTorch学习笔记（13）–现有网络模型的使用及修改 本博文是PyTorch的学习笔记，第13次内容记录，主要介绍如何使用现有的神经网络模型，如何修改现有的网络模型。 目录PyTorch学习笔记（13）--现有网络模型的使用及修改1.现有网络模型2.现有模型的使用2.1VGG16模型的结构2.2修改现有VGG16模型的结构3.学习小结 1.现有网络模型 在现有的torchvisio
转载
2023-09-08 11:34:48
593阅读
如何使用PyTorch实现模型
## 引言
PyTorch是一个用于构建深度学习模型的开源框架，它提供了丰富的工具和库，帮助开发者更高效地实现和训练各种深度学习模型。本文将介绍使用PyTorch实现模型的步骤和必要的代码。
## 流程
下面是使用PyTorch实现模型的整个流程：
```mermaid
flowchart TD
A[数据准备] --> B[定义模型]
B
原创
2024-01-15 05:40:41
164阅读
✅作者简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，matlab项目合作可私信。?个人主页：Matlab科研工作室?个人信条：格物致知。更多Matlab仿真内容点击?智能优化算法 神经网络预测 雷达通信 无线传感器处理 图像处理 路径规划 元胞自动机 无人机 电力系统⛄ 内容介
原创
2022-12-30 10:04:40
407阅读
b站小土堆的pytorch教学视频，实在是太好了。不光教代码的语法功能，更重要的是教你看pytorch官网。本文作为学习笔记，将小土堆提供的GPU训练代码进行详解分析，(因为这个案例基本上综合了小土堆前面讲过的所有内容)防止自己忘了。可以随时查看。代码import torch
import torchvision
from torch.utils.tensorboard import Summar
转载
2024-01-21 09:30:37
73阅读
一、PyTorch的简介和安装 因为在学习pytorch之前就已经配置和安装好了相关的环境和软件，所以这里就不对第一章进行详细的总结，就简要总结一下：1.1 pytorch的发展 去了P
转载
2023-09-07 11:36:13
142阅读
小白学Pytorch 系列–Torch API（2）Generatorstorch.Generator创建并返回一个生成器对象，该对象管理生成伪随机数的算法的状态。在许多就地随机抽样函数中用作关键字参数。g_cpu = torch.Generator()
g_cpu.get_state()
g_cpu = torch.Generator()
g_cpu.initial_seed()
g_cpu
转载
2023-12-10 16:54:44
325阅读
文章目录一、画图、路径、csv、txt、导模块、类继承调用方法写进日志log里面pytorch ,可视化1，输出每一层的名字，输出shape，参数量获取当前文件夹路径python 获取当前目录 上一级目录 上上一级目录写入xlsx或者csv等文件，如果没有文件夹，则自动创建文件夹保存文件到txt，读取txt文件数值汇总fpr、tpr到excel画多个loss曲线和auc并将数值保存到csv文件将
转载
2023-09-14 18:20:08
170阅读
