在上一篇文章 中，我们自己手动实现了对于softmax操作和交叉熵的计算，可其实这些在Pytorch框架中已经被实现了，我们直接拿来使用即可。但是，为了能够对这些内容有着更深刻的理解，通常我们都会自己手动实现一次，然后在今后的使用中就可以直接拿现成的来用了。在接下来这篇文章中，笔者将首先介绍如何调用Pytorch中的交叉熵损失函数，然后再同时借助nn.Linear()来实现一个简洁版的
转载
2023-11-25 12:27:11
156阅读
在Pytorch中，传入网络中计算的数据类型必须是Tensor类型，如果requires_grad = True的话，就会保存着梯度和创建这个Tensor的function的引用，换句话说，就是记录网络每层的梯度和网络图，可以实现梯度的反向传播，网络图可以表示如下（来自Deep Learning with PyTorch: A 60 Minute Blitz）: 则根据最后得到的loss可以逐步递
转载
2023-12-08 10:48:34
130阅读
本文作者：Allen 在该系列的上一篇，我们介绍了使用Pytorch的重要知识点：计算图和自动求导。本篇我们继续学习计算图和自动求导。首先，我们在上一节的计算图上增加复杂度，例如变成这样的计算图：图中为了绘制方便，把张量w和x绘制在一个框中了。其对应的计算图代码如下：import torchw = torch.tensor([1.],requires_grad=True)x = t
转载
2023-12-11 22:31:15
72阅读
1. 网络结构 注： （1）图中的输出缺少一个 batch-size 的维度，例如 yolo1 的实际输出是 [bs, 3, 13, 13, 85] （2）yolo 层的功能：yolo 层在 forward 时仅调整了输入特征的结构，并没有变动数值 （3）yolo 层的输出：3 代表 anchor 数量；13*13 代表图像划分的网格；85 代表网络预测 [x, y, w, h, obj, cls
转载
2024-09-13 20:17:57
0阅读
# 监测 PyTorch 中的 Loss 梯度
在深度学习的训练过程中，监测 Loss 的梯度变化是非常重要的。它可以帮助我们了解模型训练的有效性，是否需要进行调优，或者是模型是否可能出现了过拟合。本文将带你一步一步实现这个功能，并用代码加以实例说明。
## 一、实现流程概述
我们可以将监测 Loss 梯度的整个流程分为以下几个步骤：
```mermaid
flowchart TD
原创
2024-10-15 06:19:09
355阅读
在实际的神经网络搭建过程中，前向传播是比较容易实现的，正确性较高；而反向传播的实现是有一定难度的，时常会出现bug。对于准确性要求很高的项目，梯度检验尤为重要。梯度检验的原理数学中对导数（梯度）的定义是 我们需要验证反向传播计算得到的是否准确，就可以用另一种方式，即上述的公式，利用前向传播分别计算出和来求得，验证它是否与反向传播计算得到的一样。梯度检验的Python实现我们简单构建一个3层神经网络
转载
2024-10-26 12:08:08
56阅读
目录 梯度下降算法 代码1实现： 画出关系图随机梯度下降（Stochastic Gradient Descent）代码2实现：（与上面类似）上一次我们画出上面线性图所用的数据使用穷举法所求得的，但同时方法也存在弊端： 当权重w只有一个时，还能简单的用
转载
2023-11-20 12:07:57
58阅读
梯度下降法的原理和公式这里不讲，就是一个直观的、易于理解的简单例子。1.最简单的情况，样本只有一个变量，即简单的(x，y)。多变量的则可为使用体重或身高判断男女(这是假设，并不严谨)，则变量有两个，一个是体重，一个是身高，则可表示为(x1,x2,y),即一个目标值有两个属性。2.单个变量的情况最简单的就是，函数hk(x)=k*x这条直线(注意：这里k也是变化的，我们的目的就是求一个最优的 &nbs
转载
2024-09-12 20:18:51
36阅读
参考： https://yjango.gitbooks.io/superorganism/content/ti_du_xia_jiang_xun_lian_fa.htmlhttps://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650720663&idx=3&sn=d9f671f77be23a148d1830448154a
转载
2024-08-21 10:53:10
58阅读
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
转载
2024-08-21 19:26:25
57阅读
# PyTorch中的Loss及梯度的理论理解
在深度学习中，理解损失函数（Loss）及梯度（Gradient）的概念是训练模型的基础。本文旨在帮助刚入行的小白开发者掌握这一理论知识并实现基本的PyTorch代码。下面我们将详细介绍其流程和实现。
## 整体流程
我们可以将PyTorch中使用Loss和计算梯度的过程概述为以下几个步骤：
| 步骤 | 描述
PyTorch中的梯度累加使用PyTorch实现梯度累加变相扩大batch这种模式可以让梯度玩出更多花样，比如说梯度累加（gradient accumulation）传统的训练函数，一个batch是这么训练的：for i,(images,target) in enumerate(train_loader):
# 1. input output
images = images.cud
转载
2023-08-08 10:52:27
124阅读
我用的是Anaconda3 ，用spyder编写pytorch的代码，在Anaconda3中新建了一个pytorch的虚拟环境（虚拟环境的名字就叫pytorch)。以下内容仅供参考哦~~1.首先打开Anaconda Prompt，然后输入activate pytorch，进入pytorch.2.输入pip install tensorboardX，安装完成后，输入python，用from tens
转载
2023-07-28 15:38:38
1080阅读
目录参考文献人脸损失函数CenterLoss （2016）余弦距离 cosine lossCosineMarginLoss（Large-Margin-Cosine-Loss）（2018 CosFace）ArcFaceCircle Loss（2020）MV-Softmax loss（2020）CurricularFace（2020）人脸损失函数github源码详解ArcFace（InsightFa
转载
2024-05-27 15:46:19
77阅读
目录前言一、损失函数二、详解1.回归损失2.分类损失三. 总结 前言损失函数在深度学习中占据着非常重要的作用，选取的正确与否直接关系到模型的好坏。本文就常用的损失函数做一个通俗易懂的介绍。一、损失函数根据深度函数的模型类型，损失函数可分为三类：1. 回归损失（Regression loss）：预测连续的数值，即输出是连续数据：如预测房价、气温等；2. 分类损失（Classificat
转载
2023-07-11 13:39:17
156阅读
文章目录1 Loss 介绍2 常见 LossL1 lossL2 lossNegative Log-Likelihood（NLL）Binary Cross-EntropyCross-EntropyHinge EmbeddingMargin Ranking LossTriplet Margin LossKL Divergence Loss3 Loss 设计4 softmax 及其变体5 Loss 异
转载
2024-03-11 12:11:44
203阅读
文章目录1、CrossEntropyLoss-CE 交叉熵损失1.1 是什么？1.2 物理含义1.2 怎么代码实现和代码使用？1.2* 怎么代码实现和代码使用？1.3 应用场景1.3.1 多分类1.3.1 数值的回归参考 1、CrossEntropyLoss-CE 交叉熵损失1.1 是什么？一个损失函数，虽然说的是交叉熵，但是和《信息论》的交叉熵不一样。首先输入是size是(minibatch,
转载
2023-11-12 13:09:20
188阅读
文章目录1. CrossEntropyLoss()1.1 CEL中不同计算模式的影响1.2 CEL中分类权重 weights 的影响1.3 nn.LogSoftmax()2. nn.NLLLoss()3. nn.BCELoss()4. nn.BCEWithLogitsLoss()5. nn.L1LOSS （MAE）6. nn.MSELoss7. nn.SmoothL1Loss8. nn.Pois
转载
2023-11-02 10:09:41
176阅读
目录准备知识pytorch计算图（前馈+反向）pytorch线性回归（代码实战）构造数据pytorch中的分析构造模型构造损失函数和优化器迭代更新梯度输出与测试 准备知识注：了解计算图的同学可直接跳过。pytorch计算图（前馈+反向）无论在pytorch还是在tensorflow中，都是用计算图来计算前馈和反向传播过程。我们首先来介绍一个简单的计算图： 如上图所示，表示了y’ = w * x的
转载
2023-10-16 02:29:53
93阅读
文章目录1. 损失函数总览2. 回归损失函数3. 分类损失函数3.1 [交叉熵](https://charlesliuyx.github.io/2017/09/11/什么是信息熵、交叉熵和相对熵/ "【直观详解】信息熵、交叉熵和相对熵")3.2 分类损失函数3.3 总结 文章目录1. 损失函数总览2. 回归损失函数3. 分类损失函数3.1 [交叉熵](https://charlesliuyx.
转载
2023-08-09 00:55:43
223阅读
