文章目录TensorAutogradAutograd过程解析结论引用 TensorTensor（张量）是Pytorch中的基础计算单位，和numpy中的ndarray一样都是表示一个多维矩阵，不同的地方在于：Tensor既可以在CPU上运算也可以在GPU上进行运算，而ndarray只能在CPU上进行计算。Tensor有三个重要的属性：
data：保存张量的值；
grad：保存该张量的梯度；
gr
转载
2023-11-20 11:31:25
115阅读
UNet++讲解 玖零猴：UNet++解读 + 它是如何对UNet改进 + 作者的研究态度和方式zhuanlan.zhihu.com
BraTs数据准备数据来源本文用的训练集和验证集均来自BraTs2018的训练集(其中HGG:210个病人,LGG:75个病人)但由于BraTs只公开训练集数据,没有测试集数据,如果在训练集中再拆一部分用来作测试集的话,那训练集便少
Autograd: 自动求导pyTorch里神经网络能够训练就是靠autograd包。我们来看下这个包，然后我们使用它来训练我们的第一个神经网络。autograd 包提供了对张量的所有运算自动求导。它是一种在运行时才被定义的，意味着反向传播只有再代码运行的时候才会计算，每次循环的时候都可以不同，就是说可以有不同的计算图。用以下几个例子来看autograd：张量torch.Tensor 是torch
转载
2023-07-13 11:03:35
188阅读
# PyTorch如何指定no grad
在使用PyTorch进行深度学习任务时，我们通常会有一些变量不需要进行梯度计算，例如模型的参数、中间结果等。在这种情况下，我们可以使用PyTorch提供的no_grad上下文管理器来指定不需要计算梯度。本文将介绍如何在PyTorch中使用no_grad以及一些相关的示例代码。
## 1. no_grad是什么
no_grad是PyTorch中的一个上
原创
2023-09-18 06:04:32
201阅读
autograd包为tensors上的所有操作提供自动微分。是一个按运行定义的框架，这意味着你的反向求导是由代码的运行方式定义的，并且每个迭代都可以是不同的。一、torch.Tensortorch.Tensor是autograd包的中心类。1. 自动求导将Tensor的属性.requires_grad设置为True，它将开始跟踪其上的所有操作(比如加减乘除等等计算)。完成计算后，可调用.backw
转载
2023-10-08 00:32:30
190阅读
本文参考了官方文档及各个大佬的博客在神经网络模型中需要对参数求导更新，pytorch中Autograd包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义(define-by-run）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。本文涉及： Tensor属性：.gr
转载
2023-11-25 17:40:43
147阅读
requires_gradrequires_grad=True 要求计算梯度；requires_grad=False 不要求计算梯度；
在pytorch中，tensor有一个 requires_grad参数，如果设置为True，则反向传播时，该tensor就会自动求导。 tensor的requires_grad的属性默认为False,若一个节点（叶子变量：自己创建的tensor）requires_
转载
2023-07-11 21:35:43
189阅读
PyTorch之具体显存占用分析前言PyTorch 使用中，由于显卡显存是固定的，并且短期内难以进一步提升，所以掌握显存具体占用的细节有助于我们写出更加高效的代码，甚至跑出更好的结果。所以本文结合 Connolly 的文章 《PyTorch 显存机制分析》 按照自己的需求进行了修改，同时梳理了 checkpoint 机制使用过程中的显存变换情况。分析直接看代码。注释中表明了特定的显存占用和参数数量
转载
2023-07-12 14:09:53
156阅读
计算图与动态图机制计算图是用来描述运算的有向无环图。计算图有两个主要元素:结点(Node)和边(Edge)。结点表示数据，如向量,矩阵,张量；边表示运算，如加减乘除卷积等。 下面用计算图表示:y = ( x + w ) ∗ ( w + 1 ) 采用计算图描述运算的好处：不仅使得运算更加简洁，而且使得梯度求导更加方便。下面用代码展示上述计算图梯度求导过程：import torch
# 需要计算梯度
转载
2023-06-25 16:57:05
29阅读
目录一、计算图二、自动求导要点三、标量反向传播的计算四、使用Tensor 及 Autograd 实现机器学习1）先来造一批数据，作为样本数据 x 和 标签值y2）定义一个模型 y = wx +b, 我们要学习出 w 和 b 的值，用来你拟合 x 和 y3）可视化一下，红色曲线是预测结果 -- 模型曲线，蓝色点是真值 在神经网络中，一个重要内容就是进行参数学习，而参数学习离不开求导。 现在大部分深
转载
2023-11-25 07:20:27
71阅读
当确定不会调用Tensor.backward()计算梯度时，设置禁止计算梯度会减少内存消耗。如果需要计算梯度设置Tensor.requires_grad=True两种禁用方法：（1）将不用计算梯度的变量放在with torch.no_grad()里>>> x = torch.tensor([1.], requires_grad=True)>>> with tor
原创
2023-02-23 21:19:46
1601阅读
最近在看沐神课，复现代码时出现了一个错误：Traceback (most recent call last):
File "C:\Users\GCLuis\Desktop\dl\3.LinearNeuralNetworks\3-2.py", line 83, in <module>
sgd([w, b], lr, real_batch_size) # 使用参数的梯度更新参
转载
2023-11-01 19:20:29
77阅读
ires_grad=True 要求计算梯度 requires_grad=False 不要求计算梯度 with torch.no_grad()或者@torch.no_grad()
转载
2020-07-23 02:19:00
576阅读
2评论
不得不使用递归的地方：汉诺塔目录索引（因为你永远不知道这个目录里边是否还有目录）快速排序（二十世纪十大算法之一）树结构的定义等如果使用递归，会事半功倍，否则会导致程序无法实现或相当难以理解使用递归求阶乘：def factorial(n):
result = n
for i in range(1,n):
result *= i
return result
n
# 如何实现 PyTorch 中的梯度累加与归零
在使用 PyTorch 进行深度学习模型训练时，梯度累加和梯度归零是两个非常重要的概念。这个过程可以帮助我们更好地管理模型训练的性能，尤其是在处理大型数据集时，允许我们进行累积梯度更新。本文将详细介绍这一过程，并提供实际代码示例。
## 流程概述
在 PyTorch 中，通常的数据处理与训练过程可以分为以下几个步骤:
| 步骤 | 描述
Autograd模块PyTorch的Autograd模块是应用所有神经网络的核心内容，在张量(Tensor)上的所有操作，Autograd都能为他们自动提供微分，也就是自动求导的方法，从而简化了手动计算导数的复杂过程。在0.4之前的版本中，PyTorch通过使用Variable类来自动计算所有的梯度，该类主要包含三个属性：data：保存Variable所包含的Tensor。grad：保存data对
转载
2023-11-06 13:18:23
95阅读
文章目录Autograd: 自动求导机制张量（Tensor）梯度使用PyTorch计算梯度数值Autograd简单的自动求导复杂的自动求导Autograd 过程解析扩展Autograd Autograd: 自动求导机制PyTorch中，所有神经网络的核心是autograd 包。autograd 包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义(define-by-run)的框架，这意
转载
2024-08-12 20:37:01
61阅读
# PyTorch中的torch.no_grad()：优化性能和减少内存消耗的利器
`。本文将详
原创
2023-08-27 07:17:15
458阅读
梯度计算：Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作（这样就可以利用链式法则进行梯度传播了）。完成计算后，可以调用.backward()来完成所有梯度计算。此Tensor的梯度将累积到.grad属性中。生成器生成数据：# def data_iter(batch_size, features, label
转载
2024-10-31 15:34:42
53阅读
pytorch是动态图，即计算图的搭建和运算是同时的，随时可以输出结果；而tensorflow是静态图。在pytorch的计算图里只有两种元素：数据（tensor）和运算（operation）运算包括：加减乘除、开方、幂指对、三角函数等可求导运算。数据可分为：叶子节点和非叶子节点；叶子节点是用户创建的节点，不依赖其他节点；叶子节点和非叶子节点的区别在于反向传播结束后，非叶子节点的梯度会被释放掉，只
转载
2023-08-21 13:49:20
78阅读
