学习教材： 动手学深度学习 PYTORCH 版(DEMO)(https://github.com/ShusenTang/Dive-into-DL-PyTorch)
PDF 制作by [Marcus Yang](https://github.com/chenyang1999) 本文目录：1. 前言2.Tensor的.requires_grad属性3. Tensor 的 detach()函数4. Te
转载
2023-09-12 15:37:37
65阅读
PyTorch提供两种求梯度的方法：backward() 和torch.autograd.grad() ，他们的区别在于前者是给叶子节点填充.grad字段，而后者是直接返回梯度给你，我会在后面举例说明。我们通常看到的y.backward()其实等同于torch.autograd.backward(y)梯度是以tensor为对象的，之前总结了Pytorch Tensor与形状相关的属性。另外Tens
转载
2023-09-28 10:21:42
131阅读
我们在训练神经网络的时候，batch_size的大小会对最终的模型效果产生很大的影响。一定条件下，batch_size设置的越大，模型就会越稳定。batch_size的值通常设置在 8-32 之间，但是当我们做一些计算量需求大的任务(例如语义分割、GAN等)或者输入图片尺寸太大的时候，我们的batch size往往只能设置为2或者4，否则就会
转载
2023-09-27 13:15:21
120阅读
PyTorch中的梯度累加文章目录PyTorch中的梯度累加使用PyTorch实现梯度累加变相扩大batch借助梯度累加，
原创
2022-12-14 12:48:21
282阅读
一段梯度累积的通用代码for i, (images, target) in enumerate(train_loader):
# 1. input output
images = images.cuda(non_blocking=True)
target = torch.from_numpy(np.array(target)).float().cuda(non_blocki
pytorch随机梯度下降法1、梯度、偏微分以及梯度的区别和联系(1)导数是指一元函数对于自变量求导得到的数值，它是一个标量，反映了函数的变化趋势；(2)偏微分是多元函数对各个自变量求导得到的，它反映的是多元函数在各个自变量方向上的变化趋势，也是标量；(3)梯度是一个矢量，是有大小和方向的，其方向是指多元函数增大的方向，而大小是指增长的趋势快慢。2、在寻找函数的最小值的时候可以利用梯度下降法来进行
转载
2023-09-12 21:06:11
72阅读
在PyTorch中，torch.Tensor类是存储和变换数据的重要工具，相比于Numpy，Tensor提供GPU计算和自动求梯度等更多功能，在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。本篇将介绍和总结如何使用autograd包来进行自动求梯度的有关操作。1. 概念Tensor是这个py
转载
2023-08-20 14:42:17
148阅读
梯度累积 - gradient accumulation在深度学习训练的时候，数据的batch size大小受到GPU内存限制，batch size大小会影响模型最终的准确性和训练过程的性能。在GPU内存不变的情况下，模型越来越大，那么这就意味着数据的batch size只能缩小，这个时候，梯度累积（Gradient Accumulation）可以作为一种简单的解决方案来解决这个问题。梯度累积（G
转载
2023-09-08 23:53:12
87阅读
本文介绍梯度累加技巧及其pytorch实现。该技巧通过延迟参数更新时机，允许模型在显存容量有限时使用更大的等效batch size进行训练
# 实现PyTorch梯度累加的方法
## 引言
作为一名经验丰富的开发者，我将会教会你如何在PyTorch中实现梯度累加的方法。梯度累加在模型训练中非常重要，可以帮助我们更好地优化模型参数。
## 整体流程
为了帮助你更好地理解，我将整个流程分为以下几个步骤，并使用表格展示：
```mermaid
erDiagram
|步骤1: 初始化累加梯度| -- |步骤2: 清空梯度|
Pytorch 炼丹小结? 优化器（Optimizer）? SGD (Stochastic Gradient Descent)? Adagrad (Adaptive Gradient Algorithm)? RMSprop（Root Mean Square Propagation）? Adam (Adaptive Moment Estimation)? AdamW（Adam with Weig
pytorch反向传播反向传播的过程更多的是利用链式法则。， 如图所示，对于一个输入x和输入w，f相当于z，可以得到z=x*w=6,通过损失函数l对z的求导，在通过z对x或w的求导，相乘可以得到损失函数对x和w的导数，这就是一个链式法则的过程。将这些求来干嘛呢？实际上是用于梯度下降。事实上，为什么用反向传播，视频中说得很清楚，就是在有很多个结点的情况下并且各个结点的w权重又不相同，那么解
上图也是某种意义上的梯度累加：一般是直接加总或者取平均，这样操作是scale了，其实影响不大，只是确保loss计算时的value不至于太大。batchsize超过64的情况不多(batchsize太大会有副作用)，这时候优化的粒度没那么细，scale操作适当又做了惩罚。可能在某些时候比不加收敛更快
转载
2021-07-09 14:43:57
1493阅读
PyTorch中的梯度累加使用PyTorch实现梯度累加变相扩大batch这种模式可以让梯度玩出更多花样，比如说梯度累加（gradient accumulation）传统的训练函数，一个batch是这么训练的：for i,(images,target) in enumerate(train_loader):
# 1. input output
images = images.cud
转载
2023-08-08 10:52:27
107阅读
上图也是某种意义上的梯度累加：一般是直接加总或者取平均，这样操作是scale了，其实影响不大，只是确保loss计算时的value不至于太大。batchsize超过64的情况不多(batchsize太大会有副作用)，这时候优化的粒度没那么细，scale操作适当又做了惩罚。可能在某些时候比不加收敛更快
原创
2021-07-09 14:43:22
763阅读
学习总结： 这一课在B站上学习了梯度下降，对于其中认识总结如下： 在初入深度学习坑时，我们经常会听到一个词语叫 ”梯度下降算法“，老实说，在没有学习这一章节我也对此毫无头绪，在学习玩之后，对此有了以下总结： 对于一个问题而言，我们总可以提出三个问题：是什么？为什么？以及怎么样？对于梯度下降也是同样，以下总结从三个方面来解
PyTorch学习（二）前言一、autograd自动求梯度二、使用步骤1.示例一2.示例二 前言torch.autograd是 PyTorch 的自动差分引擎，可为神经网络训练提供支持。神经网络就是寻求一个拟合函数，但是因为参数过多，所以不得不借助每一点的梯度来一点一点的接近最佳的loss值，PyTorch 拥有动态的计算图，存储记忆对向量的每一个函数操作，最后通过反向传播来计算梯度，这可以说是
转载
2023-08-27 22:56:45
155阅读
创建tensortorch.empty(),未初始化的Tensor torch.rand(),随机初始化的Tensor(均匀分布) torch.randn(),标准分布 torch.normal(),正态分布 torch.uniform(),均匀分布 torch.randperm(),随机排列 torch.zeros(),全零的Tensor torch.ones(),全一的Tensor torch
转载
2023-09-24 10:53:21
160阅读
前言本篇笔记以介绍 pytorch 中的 autograd 模块功能为主，主要涉及 torch/autograd 下代码，不涉及底层的 C++ 实现。本文涉及的源码以 PyTorch 1.7 为准。torch.autograd.function （函数的反向传播）torch.autograd.functional （计算图的反向传播）torch.autograd.gradcheck （数值梯度检查
1.梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为L的多层感知机的第l层H(l)的权重参数为W(l)，输出层H(L)的权重参数为W(L)。为了便于讨论，不考虑偏差参数，且设所有隐藏层的激活函数为恒等映射（identity mapping）ϕ(x)=x。给定输入X，多层感知机
