梯度计算：Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作（这样就可以利用链式法则进行梯度传播了）。完成计算后，可以调用.backward()来完成所有梯度计算。此Tensor的梯度将累积到.grad属性中。生成器生成数据：# def data_iter(batch_size, features, label
转载
2024-10-31 15:34:42
53阅读
# PyTorch 中去掉 Tensor 的 `grad_fn`
在深度学习中，反向传播是一个核心概念，而 PyTorch 通过 `Tensor` 的 `grad_fn` 属性为我们提供了一个非常有用的跟踪机制，用于记录引发其创建的操作。然而，某些情况下我们需要去掉 `grad_fn`，即使不再跟踪梯度。这篇文章将介绍如何实现这一点，并给出代码示例。
## 1. 什么是 `grad_fn`？
# PyTorch中的grad_fn及标量生成项目方案
## 项目背景
在深度学习中，反向传播算法的实现依赖于计算图的构建。PyTorch是一个灵活且高效的深度学习框架，在这个框架中，张量的每个操作都会返回一个新张量，而新张量会包含一个`grad_fn`属性，用以指示其生成的操作。理解和使用这些属性对于有效进行模型构建和调试非常重要。
## 项目目标
本项目旨在深入探讨如何在PyTorch
参考资料ShusenTang/Dive-into-DL-PyTorch: 本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为PyTorch实现。 (github.com).requires_gradTensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作（这样就可以利用链式法
转载
2023-09-04 09:47:50
210阅读
# PyTorch Tensor中的grad_fn属性详解
随着深度学习的普及，PyTorch作为一种灵活且易用的深度学习框架，受到越来越多开发者的喜爱。PyTorch中的张量（tensor）是所有操作的核心，而`grad_fn`属性则是理解计算图的关键。本文将为您详细介绍`grad_fn`的意义，并通过代码示例和流程图进行解释。
## 什么是grad_fn？
在PyTorch中，`grad
从这里学习《DL-with-PyTorch-Chinese》 4.2用PyTorch自动求导考虑到上一篇手动为由线性和非线性函数组成的复杂函数的导数编写解析表达式并不是一件很有趣的事情，也不是一件很容易的事情。这里我们用通过一个名为autograd的PyTorch模块来解决。利用autograd的PyTorch模块来替换手动求导做梯度下降首先模型和损失函数还是不变：def model(t_u, w
转载
2023-11-27 13:36:47
107阅读
# 在PyTorch中替换网络权重并保留grad_fn的实例
在深度学习中，我们通常需要调整和优化模型的权重，以达到更好的性能。PyTorch提供了灵活的方式来处理这些权重，但在替换它们的同时保留梯度计算图这一点可能让初学者感到困惑。本文将逐步指导你如何达到这一目的。
## 流程概述
在进行权重替换之前，我们需要了解整个流程。下面是一张简化的步骤表格，说明了替换网络权重的流程：
| 步骤
1. nn.Module.cuda() 和 Tensor.cuda() 的作用效果差异无论是对于模型还是数据，cuda()函数都能实现从CPU到GPU的内存迁移，但是他们的作用效果有所不同。对于nn.Module:model = model.cuda() model.cuda()上面两句能够达到一样的效果，即对model自身进行的内存迁移。对于Tensor:和nn.Module不同，调用tenso
转载
2023-11-01 18:21:08
53阅读
不小心就会出的错
原创
2024-03-22 15:26:47
1430阅读
做一个专门面向年轻NLPer的每周在线论文分享平台目录[x] 大模型（LLMs）基础面[x] 1. 目前 主流的开源模型体系 有哪些？[x] 2. prefix LM 和 causal LM 区别是什么？[x] 3. 涌现能力是啥原因？[x] 4. 大模型LLM的架构介绍？[x] 大模型（LLMs）进阶面[x] 1. llama 输入句子长度理论上可以无限长吗？[x] 1. 什
# 如何实现 PyTorch 中的梯度累加与归零
在使用 PyTorch 进行深度学习模型训练时，梯度累加和梯度归零是两个非常重要的概念。这个过程可以帮助我们更好地管理模型训练的性能，尤其是在处理大型数据集时，允许我们进行累积梯度更新。本文将详细介绍这一过程，并提供实际代码示例。
## 流程概述
在 PyTorch 中，通常的数据处理与训练过程可以分为以下几个步骤:
| 步骤 | 描述
这次我们也是用最简单的途径来看看神经网络是怎么进行事物的分类.建立数据集 我们创建一些假数据来模拟真实的情况. 比如两个二次分布的数据, 不过他们的均值都不一样.import torch
import matplotlib.pyplot as plt
# 假数据
n_data = torch.ones(100, 2) # 数据的基本形态
x0 = torch.norma
转载
2023-12-07 10:42:48
228阅读
问题最近学习pytorch， 原来用kreas重现的模型改为用pytorch实现训练，因为这样给模型的操作更加细致， 对模型的掌控更好。当我写好一个模型 出现了这个问题使用pytorchviz进行模型可视化出现r如下错误raceback (most recent call last): File "/home/jiwu/Documents/AttRCNN-CNNs/pyt_train....
原创
2021-08-27 14:41:33
431阅读
1、梯度下降梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模） 如果w = w(x, y, z), x = x(t), y = y(t), z = z(t) ▽w就是梯度向量，简称梯度 将微分值转换为梯度的形式：（迭代参数w时，w1=w0-学习率 * 梯度的反方向） 由以上图发现，梯度红绿下
UNet++讲解 玖零猴：UNet++解读 + 它是如何对UNet改进 + 作者的研究态度和方式zhuanlan.zhihu.com
BraTs数据准备数据来源本文用的训练集和验证集均来自BraTs2018的训练集(其中HGG:210个病人,LGG:75个病人)但由于BraTs只公开训练集数据,没有测试集数据,如果在训练集中再拆一部分用来作测试集的话,那训练集便少
参数没有设置梯度更新导致报错：Exception has occurred: RuntimeError (note: full exception trace is shown but execution is paused at: _run_module_as_main)element 0 of tensors does not require grad and does not have a grad_fn
原创
2021-07-11 17:46:30
4469阅读
参数没有设置梯度更新导致报错：Exception has occurred: RuntimeError (note: full exception trace is shown but
原创
2022-01-25 15:31:14
7063阅读
Autograd: 自动求导pyTorch里神经网络能够训练就是靠autograd包。我们来看下这个包，然后我们使用它来训练我们的第一个神经网络。autograd 包提供了对张量的所有运算自动求导。它是一种在运行时才被定义的，意味着反向传播只有再代码运行的时候才会计算，每次循环的时候都可以不同，就是说可以有不同的计算图。用以下几个例子来看autograd：张量torch.Tensor 是torch
转载
2023-07-13 11:03:35
188阅读
# PyTorch如何指定no grad
在使用PyTorch进行深度学习任务时，我们通常会有一些变量不需要进行梯度计算，例如模型的参数、中间结果等。在这种情况下，我们可以使用PyTorch提供的no_grad上下文管理器来指定不需要计算梯度。本文将介绍如何在PyTorch中使用no_grad以及一些相关的示例代码。
## 1. no_grad是什么
no_grad是PyTorch中的一个上
原创
2023-09-18 06:04:32
201阅读
autograd包为tensors上的所有操作提供自动微分。是一个按运行定义的框架，这意味着你的反向求导是由代码的运行方式定义的，并且每个迭代都可以是不同的。一、torch.Tensortorch.Tensor是autograd包的中心类。1. 自动求导将Tensor的属性.requires_grad设置为True，它将开始跟踪其上的所有操作(比如加减乘除等等计算)。完成计算后，可调用.backw
转载
2023-10-08 00:32:30
190阅读
