目录：1、感受野2、优化函数 3、激活函数 4、loss 函数。前言文章有点长，内容有点丰富，基本涵盖整个深度卷积神经网络，涉及网络中的感受野、激活函数、loss函数以及各种相关知识。 Part 一、 感受野 receptive fieldreceptive filed 中文叫感受野，是卷积神经网络中最重要的概念之一，各类目标检测任务都是基于不同的感受野而
转载
2024-08-08 12:00:59
34阅读
深度人脸识别的判别特征学习方法（Center Loss） 文章目录深度人脸识别的判别特征学习方法（Center Loss）摘要1 简介2 相关工作3 建议的方法3.1 一个玩具的例子3.2 中心损失3.3 讨论4 实验4.1 实施细节4.2 参数λ和α的实验4.3 LFW和YTF数据集的实验4.4 MegaFace Challenge数据集的实验5 结论6 致谢参考 摘要 卷积神经网络（CNNs）
Pytorch中的学习率调整有两种方式：手动调整optimizer中的lr参数利用lr_scheduler()提供的几种衰减函数 Pytorch中的学习率调整方法一. 手动调整optimizer中的lr参数二. 利用lr_scheduler()提供的几种调整函数2.1 LambdaLR(自定义函数)2.2 StepLR(固定步长衰减)2.3 MultiStepLR(多步长衰减)2.4 Expone
转载
2023-11-08 20:30:13
246阅读
loss等于87.33这个问题是在对Inception-V3网络不管是fine-tuning还是train的时候遇到的，无论网络迭代多少次，网络的loss一直保持恒定。查阅相关资料以后发现是由于loss的最大值由FLT_MIN计算得到，FLT_MIN是其对应的自然对数正好是-87.3356，这也就对应上了loss保持87.3356了。这说明softmax在计算的过程中得到了概率值出现了零，由于so
转载
2024-01-04 18:15:38
472阅读
# PyTorch 中的 Loss 不变性
在深度学习中，优化算法通过最小化损失函数（Loss Function）来训练模型。在使用 PyTorch 进行模型训练时，我们经常遇到 "loss 不变" 的现象。本文将深入探讨这一现象，解析其背后的原因，并提供相关代码示例以供参考。
## Loss 的基础概念
损失函数用于量化模型输出与真实标签之间的差异。其目的是通过反向传播调整模型参数，使得损
原创
2024-09-19 06:12:48
85阅读
前言深度学习模型优化，即优化网络权值使得该模型拟合数据的能力达到最优，而最优的一个标准是损失函数较小（兼顾训练数据和测试数据，以及实际应用场景的最优）。PyTorch中有很多损失函数，这里我主要介绍最常用的两种，NLLLoss和CrossEntropyLoss；而实际上CrossEntropyLoss更常用，NLLLoss与其的关系也会在本文中详细介绍。1. Softmax要介绍上述两个损失函数的
转载
2023-10-26 21:29:33
405阅读
影响一个网络性能的因素很多，网络结构，参数优化，loss约束等，这里就常见的几种loss进行比较总结。其中（1）（2）（3）为回归损失，（4）（5）（6）为分类损失。（1）MSE（均方误差）均方误差（MSE）是回归损失函数中最常用的误差，也常被称为L2 loss，它是预测值与目标值之间差值的平方和，其公式如下所示：，有时也写成这样
cross entropy的缺点cross entropy的表达式：log(x) 与 -log(x) 的曲线图： cross entropy 的两个缺点：1. 数量多的类别会主导损失函数和梯度下降，导致模型更有信心预测数量多的类别，而缺少对数量少类别的重视。Balance cross entropy可以解决。2. 模型无法分辨困难样本和简单样本。困难样本是指模型反
1. 问题描述在复现论文的过程中，遇到了训练模型Loss一直为负的情况。程序主要通过深度学习实现一个分类任务。编程与debug过程全部在windows10系统，Pycharm2018v1.4的IDE下完成，主要框架为pytorch 1.2.0。复现过程中采用了交叉熵损失函数计算Loss。训练过程中输出信息如下：输出部分的代码段：for batch_idx, (data, target) in en
转载
2023-09-27 09:18:39
550阅读
小白第一次写，很多地方会显得比较生疏……———————————————————————————————————————————1.13 更新：原因是nn.crossentropy()内部封装了logsoftmax函数，再用一次softmax的话会导致概率过早进入不能被训练的饱和状态（即假概率逼近0，真概率逼近1）。所以解决措施是：1. 去掉网络结构里的softmax层2. 重新实现cross-en
转载
2024-01-31 07:57:58
376阅读
在使用 PyTorch 进行模型训练时，有时可能会遇到“loss 值不变”的问题，这通常表明模型未能有效学习。要解决此问题，我们可以从多个方面分析并逐步解决。接下来，我将详细记录下这个过程，将包括版本对比、迁移指南、兼容性处理、实战案例、排错指南和性能优化。
### 版本对比
首先，了解不同版本的 PyTorch 可以帮助我们识别潜在的问题。下面是一个版本特性差异的对比表格。
| 版本
前言交叉熵损失本质是衡量模型预测的概率分布与实际概率分布的差异程度，其值越小，表明模型的预测结果与实际结果越接近，模型效果越好。熵的概念来自与信息论，参考资料1对交叉熵的概念做了简明的介绍，很好理解。需要注意： Pytorch中的CrossEntropyLoss是LogSoftMax与NLLLoss的结合，下面以实例逐步拆解CrossEntropyLoss的计算过程。LogSoftMax当网络最后
转载
2023-08-11 21:23:36
171阅读
前言本来想按照惯例来一个overview的，结果看到1篇十分不错而且详细的介绍，因此copy过来，自己在前面大体总结一下论文，细节不做赘述，引用文章讲得很详细，另外这篇paper引用十分详细，如果做detection可以从这篇文章去读更多不同类型的文章。论文概述 卷积网络具有较好的平移不变性，但是对尺度不变性有较差的泛化能力，现在网络具有的一定尺度不变性、平移不变性往往是通过网络很大的capac
语义分割任务实际上是一种像素层面上的分类，需要识别图像中存在的内容和位置，同样也存在与分类类似问题-样本类别不平衡，对于语义分割更多的是前景区域的样本远小于背景区域。针对类别不平衡问题，在loss层面上有不同的选择。1. dice Lossdice loss 源于dice系数，是用于度量集合相似度的度量函数，通常用于计算两个样本之间的相似度，
参考文献：参考文献1中给出对于loss_D的解释，鄙人表示很不错，但是对于Loss_G的解释太过于笼统，没有给出具体的解释。本文将继续解释GAN里面有两个Loss：Loss_D（判别网络损失函数）、Loss_G（生成网络损失函数）。 Loss_D只有两个分类，Real image判为1，Fake image（由G生成）判为0，因而可以用二进制交叉熵（BCELoss）来实现Loss_D。熵熵（Ent
论文地址：https://arxiv.org/abs/1910.00950，2019 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2019解决的问题CNN 分割网络常见的两个问题：在池化过程中，特征图分辨率降低对小物体不敏感对于上述两个问题的常见解决方法：使用 dense CRF 作为后处理，参考论
转载
2024-06-14 20:21:05
34阅读
一、简介损失函数的作用： 主要用于深度学习中predict与True label “距离”度量或者“相似度度量”，并通过反向传播求梯度，进而通过梯度下降算法更新网络参数，周而复始，通过损失值和评估值反映模型的好坏。损失函数的分类： 主要分为回归损失函数和分类损失函数。回归损失函数： reg_loss(回归预测一个具体的数值，真实的一个具体值)，比如我要预测一个矩形框的宽高，一般来说可以使任意值。一
转载
2023-11-01 20:24:47
75阅读
一篇文章带你了解pytorch中常用的损失函数Q：什么是损失函数？训练神经网络类似于人类的学习方式。我们将数据提供给模型，它可以预测某些内容，并告诉其预测是否正确。然后，模型纠正其错误。该模型会重复执行此操作，直到达到我们确定的特定精度水平为止。告诉模型预测错误是正确学习的关键。这是损失函数出现的地方。它告诉模型其估计与实际值相差多远。与人交流虽然比较容易，但要告诉机器，我们需要一种媒介。本篇文章
转载
2023-11-25 12:59:00
71阅读
构建CNN网络需要注意问题数据预处理（均值，方差， 人脸归一化。。。）， 数据增强【放射变换、运动模糊、高斯滤波模糊类，增加噪声类， 色彩/饱和度/亮度调整类、 Flip类，Crop类】 这些都是根据实际的应用场景选择。 1.参数多少问题 [卷积核大小，通道数，卷积方式:conv / depthwiseconv / 空洞卷积 激活函数 PRelu]2.Flops计算量问题 【
转载
2024-08-08 11:47:25
33阅读
这几天被一个问题卡了2天在神经网络中加入了多头自注意力机制，训练有一定的效果，把模型保存下来之后，换了个loss继续训练做finetuning，然后就出现了这样的问题：已经训练好的模型的loss在1左右，然后做Finetuing的时候，按理说加载了预训练模型，第一个Epoch的loss应该也在1左右（对同一个数据集），结果训练的时候第一个Epoch的loss飙升，升到了30多，这让我十分困惑，因为
转载
2024-08-13 16:51:55
33阅读
