本文作者：Allen 在该系列的上一篇，我们介绍了使用Pytorch的重要知识点：计算图和自动求导。本篇我们继续学习计算图和自动求导。首先，我们在上一节的计算图上增加复杂度，例如变成这样的计算图：图中为了绘制方便，把张量w和x绘制在一个框中了。其对应的计算图代码如下：import torchw = torch.tensor([1.],requires_grad=True)x = t
转载
2023-12-11 22:31:15
72阅读
# PyTorch 截断梯度
## 引言
在深度学习中，梯度下降是一个常用的优化算法，用于更新模型参数以最小化损失函数。然而，当模型架构复杂或者训练数据存在异常值时，梯度可能会变得非常大，导致优化过程失效。为了解决这个问题，我们可以使用梯度截断技术。
在本文中，我们将介绍梯度截断的概念，并展示如何使用 PyTorch 实现梯度截断。
## 梯度截断简介
梯度截断是一种通过限制梯度的范围来
原创
2023-09-22 20:40:21
436阅读
在目标分割任务中，我们的目标是在图像中找到目标物体的边界。图像中目标的分割有很多应用，如自动驾驶汽车和医学图像分析。在单目标分割章节中，我们学习了如何使用PyTorch构建一个单目标分割模型。在本章中，我们将重点关注使用PyTorch开发一个深度学习模型来执行多目标分割。在多目标分割中，我们感兴趣的是自动勾勒出图像中多个目标的边界。图像中物体的边界通常由与图像大小相同的分割掩码来定义。在分割掩码中
转载
2023-07-27 20:45:02
124阅读
在上一篇文章 中，我们自己手动实现了对于softmax操作和交叉熵的计算，可其实这些在Pytorch框架中已经被实现了，我们直接拿来使用即可。但是，为了能够对这些内容有着更深刻的理解，通常我们都会自己手动实现一次，然后在今后的使用中就可以直接拿现成的来用了。在接下来这篇文章中，笔者将首先介绍如何调用Pytorch中的交叉熵损失函数，然后再同时借助nn.Linear()来实现一个简洁版的
转载
2023-11-25 12:27:11
156阅读
在Pytorch中，传入网络中计算的数据类型必须是Tensor类型，如果requires_grad = True的话，就会保存着梯度和创建这个Tensor的function的引用，换句话说，就是记录网络每层的梯度和网络图，可以实现梯度的反向传播，网络图可以表示如下（来自Deep Learning with PyTorch: A 60 Minute Blitz）: 则根据最后得到的loss可以逐步递
转载
2023-12-08 10:48:34
130阅读
前言在学习了深度学习的梯度下降算法之后，做一些总结来记录一下。在深度学习中，当我们构建好学习系统之后，需要建立数据模型，初期选择较为简单的线性模型作为我们理解深度学习相关知识概念的基础模型。 在权重数量不多，目标函数是凸函数的情况下可以通过分治法来找寻全局最优点。一、概念梯度下降算法：在我们确定好最初权重猜测之后，想要找到目标点，此时需要确定往数轴的哪个方向，此时梯度的定义就是通过目标函数对权重求
转载
2023-10-08 00:30:38
86阅读
最近在学习PyTorch，在学习DCGAN时遇到了一些问题，即为何要使用梯度截断.detach()进行GAN的训练。首先，GAN的整体训练过程可以参考标题图片：训练判别器D： 计算真实样本的判别损失LossR计算合成样本（假样本）的判别损失LossF_0更新判别器训练生成器G： 计算合成样本的判别损失LossF_1更新判别器在步骤1.1中，计算图只包含了判别器D，但是在1
转载
2024-02-28 17:35:54
44阅读
梯度裁剪（Gradient Clipping）在训练比较深或者循环神经网络模型的过程中，我们有可能发生梯度爆炸的情况，这样会导致我们模型训练无法收敛。 我们可以采取一个简单的策略来避免梯度的爆炸，那就是梯度截断 Clip, 将梯度约束在某一个区间之内，在训练的过程中，在优化器更新之前进行梯度截断操作。!!!!! 注意这个方法只在训练的时候使用，在测试的时候验证和测试的时候不用。整个流程简单总结如下
转载
2023-12-27 14:14:28
132阅读
1. 网络结构 注： （1）图中的输出缺少一个 batch-size 的维度，例如 yolo1 的实际输出是 [bs, 3, 13, 13, 85] （2）yolo 层的功能：yolo 层在 forward 时仅调整了输入特征的结构，并没有变动数值 （3）yolo 层的输出：3 代表 anchor 数量；13*13 代表图像划分的网格；85 代表网络预测 [x, y, w, h, obj, cls
转载
2024-09-13 20:17:57
0阅读
# 监测 PyTorch 中的 Loss 梯度
在深度学习的训练过程中，监测 Loss 的梯度变化是非常重要的。它可以帮助我们了解模型训练的有效性，是否需要进行调优，或者是模型是否可能出现了过拟合。本文将带你一步一步实现这个功能，并用代码加以实例说明。
## 一、实现流程概述
我们可以将监测 Loss 梯度的整个流程分为以下几个步骤：
```mermaid
flowchart TD
原创
2024-10-15 06:19:09
355阅读
在实际的神经网络搭建过程中，前向传播是比较容易实现的，正确性较高；而反向传播的实现是有一定难度的，时常会出现bug。对于准确性要求很高的项目，梯度检验尤为重要。梯度检验的原理数学中对导数（梯度）的定义是 我们需要验证反向传播计算得到的是否准确，就可以用另一种方式，即上述的公式，利用前向传播分别计算出和来求得，验证它是否与反向传播计算得到的一样。梯度检验的Python实现我们简单构建一个3层神经网络
转载
2024-10-26 12:08:08
56阅读
目录 梯度下降算法 代码1实现： 画出关系图随机梯度下降（Stochastic Gradient Descent）代码2实现：（与上面类似）上一次我们画出上面线性图所用的数据使用穷举法所求得的，但同时方法也存在弊端： 当权重w只有一个时，还能简单的用
转载
2023-11-20 12:07:57
58阅读
强非线性函数往往倾向于非常大或非常小幅度的梯度。这导致的困难是，当参数梯度非常大时，梯度下降的参数更新可以将参数抛出很远，进入目标函数较大的区域，到达当前解所做的努力变成了无用功。梯度告诉我们，围绕当前参数的无穷小区域内最速下降的方向，这个无穷小区域之外，代价函数可能开始沿曲线背面而上。更新必须被选择为足够小，以避免过分穿越向上的曲面。我们通常使用衰减足够慢的学习率，使连续的步骤具有大致相同的学习...
原创
2021-08-13 09:36:12
431阅读
梯度下降法的原理和公式这里不讲，就是一个直观的、易于理解的简单例子。1.最简单的情况，样本只有一个变量，即简单的(x，y)。多变量的则可为使用体重或身高判断男女(这是假设，并不严谨)，则变量有两个，一个是体重，一个是身高，则可表示为(x1,x2,y),即一个目标值有两个属性。2.单个变量的情况最简单的就是，函数hk(x)=k*x这条直线(注意：这里k也是变化的，我们的目的就是求一个最优的 &nbs
转载
2024-09-12 20:18:51
36阅读
参考： https://yjango.gitbooks.io/superorganism/content/ti_du_xia_jiang_xun_lian_fa.htmlhttps://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650720663&idx=3&sn=d9f671f77be23a148d1830448154a
转载
2024-08-21 10:53:10
58阅读
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
转载
2024-08-21 19:26:25
57阅读
一个多元函数的梯度方向是该函数值增大最陡的方向。对于一元函数而言，梯度方向是沿着曲线切线的，然后取切线向上增长的方向为梯度方向。对于二元或多元函数而言，梯度向量为函数F对每个变量的导数，该向量的方向就是梯度的方向。 上图为一元二次函数的曲线图，可以看出：在最低点的左边部分，每一点的梯度方向值都是负值，因为每一点的斜率都是小于0的，所
转载
2024-04-01 10:56:35
0阅读
# PyTorch中的Loss及梯度的理论理解
在深度学习中，理解损失函数（Loss）及梯度（Gradient）的概念是训练模型的基础。本文旨在帮助刚入行的小白开发者掌握这一理论知识并实现基本的PyTorch代码。下面我们将详细介绍其流程和实现。
## 整体流程
我们可以将PyTorch中使用Loss和计算梯度的过程概述为以下几个步骤：
| 步骤 | 描述
PyTorch中的梯度累加使用PyTorch实现梯度累加变相扩大batch这种模式可以让梯度玩出更多花样，比如说梯度累加（gradient accumulation）传统的训练函数，一个batch是这么训练的：for i,(images,target) in enumerate(train_loader):
# 1. input output
images = images.cud
转载
2023-08-08 10:52:27
124阅读
我用的是Anaconda3 ，用spyder编写pytorch的代码，在Anaconda3中新建了一个pytorch的虚拟环境（虚拟环境的名字就叫pytorch)。以下内容仅供参考哦~~1.首先打开Anaconda Prompt，然后输入activate pytorch，进入pytorch.2.输入pip install tensorboardX，安装完成后，输入python，用from tens
转载
2023-07-28 15:38:38
1080阅读
