--NeoZng【neozng1@hnu.edu.cn】IOU loss family在之前训练bbox regression分支的时候，我们只利用了回归得到的角点与GT角点坐标差的模值（若是利用中心点和长宽也类似，用MAE、RMSE、Smooth L1等LF），仔细思考一下就会发现这存在一些问题：实际评价检测效果的时候使用的指标是IOU，但显然我们loss的设计目标和评价指标不等价，多个检测框可
选自arXiv，作者：Y Srivastava、V Murali、S R Dubey，机器之心编译，参与：路、淑婷。
人脸识别是当前手机设备中使用最广泛的生物识别特征之一。而损失函数在训练用于人脸识别的 CNN 过程中有重要作用。因此，本文对用于人脸识别的多种损失函数进行了性能对比。
无约束人脸识别是计算机视觉领域中最难的问题之一。人脸识别在罪犯识别、考勤系统、人脸解锁系统
转载
2024-09-11 20:12:48
61阅读
在进行神经网络训练时，很多同学都不太注重损失函数图和损失函数的优化算法的理解，造成的结果就是：看起来效果不错，但是不知道训练的参数是否合理，也不知道有没有进一步优化的空间，也不知道初始点的选择是否恰当。本篇文章着重介绍神经网络损失函数最小化过程中使用的优化算法，前面先对梯度下降法进行介绍，后面介绍梯度下降法中使用的几种优化算法，中间穿插着自变量的更新轨迹和损失函数图像的讲解，以期同学们对损失函数相
转载
2024-09-24 15:01:34
74阅读
文章目录一、传统contrastive loss二、WDMC loss(DASNet)1.应用于变化检测的contrastive loss变形 一、传统contrastive loss对比损失是一种降维学习方法，它可以学习一种映射关系，这种映射关系可以使得在高维空间中，相同类别但距离较远的点，通过函数映射到低维空间后，距离变近，不同类别但距离都较近的点，通过映射后再低维空间变得更远。
本文约4500字，建议阅读9分钟
该损失函数主要是用于降维中，即本来相似的样本，在经过降维（特征提取）后，在特征空间中，两个样本仍旧相似。1、Contrastive Loss简介对比损失在非监督学习中应用很广泛。最早源于 2006 年Yann LeCun的“Dimensionality Reduction by Learning an Invariant Mapping”，该损失函数主要是用于降
转载
2024-01-19 23:57:58
582阅读
随手写了备忘录居然还被cver转载了--------------------------------------------------最近刚开始用pytorch不久，陆陆续续踩了不少坑，记录一下，个人感觉应该都是一些很容易遇到的一些坑，也在此比较感谢帮我排坑的小伙伴，持续更新，也祝愿自己遇到的坑越来越少。首先作为tensorflow的骨灰级玩家+轻微强迫症患者，一路打怪升级，从0.6版本用到1.
转载
2024-01-17 17:11:02
81阅读
在机器学习或者深度学习中，都需要根据具体的模型和应用场景选择不同的损失函数。本文总结了几种不同的损失函数的定义和应用场景，并对比了不同损失函数的优缺点。一、基础知识损失函数（loss function）：用来估量模型预测值f(x）与真实值y的偏离程度，以下是选择损失函数的基本要求和高级要求：基本要求：用来衡量模型输出分布和样本标签分部之间的接近程度高级要求：在样本分布不均匀的情况下，精
转载
2023-11-13 22:54:16
424阅读
本文目的在于记录无监督光流估计如何构建损失函数。主要用于自己的研究项目，并且因为处于刚入门的阶段，因此一些内容可能描述存在问题。(文内的公式可在参考文献处找到)目录无监督光流估计损失函数的提出光度损失 photometric loss 基本的光度损失Charbonnier lossSSIMCensus loss平滑损失 smooth loss增强正则化损失 augmentation re
1. 综述损失函数（Loss Function)是用来评估模型好坏程度，即预测值f(x)与真实值的不一致程度，通常表示为L(Y, f(x))的一个非负的浮点数。比如你要做一个线性回归，你拟合出来的曲线不会和原始的数据分布是完全吻合（完全吻合的话，很可能会出现过拟合的情况），这个差距就是用损失函数来衡量。那么损失函数的值越小，模型的鲁棒性也就越好，对新数据的预测能力也就越强。通常提到损失函数，我们不
转载
2023-10-24 21:38:15
291阅读
在这篇博文中，我们将深入探讨如何使用 PyTorch 实现 SimCLR 的对比损失。SimCLR 是一种自监督学习方法，它通过对比学习来获取强大的表征。该方法特别适合图像分类等视觉任务。我们将逐步解构整个实现过程，带你从背景知识到实际代码示例。
### 背景定位
近年来，自监督学习在计算机视觉领域的研究逐渐兴起。SimCLR 是一种关键的方法，通过引入对比损失来提高模型对图像的理解能力。这种
# 焦点损失（Focal Loss）在PyTorch中的应用
在深度学习领域，目标检测和图像分类任务面临着类别不平衡的问题。特别是在某些场景中，容易分类的样本数量大大超过困难样本。为了解决这个问题，Focal Loss（焦点损失）被提出，特别适合处理这种类别不平衡的问题。本文将深入探讨焦点损失的原理及其在PyTorch中的实现。
## 什么是焦点损失？
焦点损失是由Tsung-Yi Lin等
caffe总结（七）导言对比损失函数（Contrastive loss）多项式逻辑损失函数（Multinomial Logistic Loss）Sigmoid 交叉熵损失函数（Sigmoid Cross Entropy Loss）Softmax+损失函数(Softmax With Loss)欧式距离损失函数（Euclidean Loss）铰链损失函数（Hinge Loss）信息增益损失函数（In
转载
2024-06-13 21:13:51
187阅读
作者|Samrat Saha 编译|VK |Towards Datas Science Supervised Contrastive Learning这篇论文在有监督学习、交叉熵损失与有监督对比损失之间进行了大量的讨论，以更好地实现图像表示和分类任务。让我们深入了解一下这篇论文的内容。 论文指出
转载
2020-10-03 17:26:00
336阅读
2评论
1 focal loss的概述焦点损失函数 Focal Loss（2017年何凯明大佬的论文）被提出用于密集物体检测任务。当然，在目标检测中，可能待检测物体有1000个类别，然而你想要识别出来的物体，只是其中的某一个类别，这样其实就是一个样本非常不均衡的一个分类问题。而Focal Loss简单的说，就是解决样本数量极度不平衡的问题的。说到样本不平衡的解决方案，相比大家是知道一个混淆矩阵的f1-sc
转载
2024-01-17 16:32:34
161阅读
学习过程知识粗略记录，用于个人理解和日后查看 包导入 import torch from torch import nn MSELoss-均方差损失 常用于回归问题中 对于每一个输入实例都只有一个输出值，把所有输入实例的预测值和真实值见的误差求平方，然后取平均 定义：class torch.nn.M ...
转载
2021-08-19 15:52:00
402阅读
2评论
一个损失函数需要一对输入：模型输出和目标，然后计算一个值来评估输出距离目标有多远。loss = criteri
原创
2023-05-18 17:14:58
116阅读
# 在PyTorch中实现Huber损失函数
Huber损失函数是一种用于回归问题的损失函数，它在预测值较远时表现得像均方误差，而在预测值较近时则表现得像平均绝对误差。这使得它更具鲁棒性，能够有效处理异常值。本文将以图文并茂的方式教会你如何在PyTorch中实现Huber损失。
## 实现流程
在实现Huber损失的过程中，我们可以简单地将其分为以下几个步骤：
| 步骤 | 说明
# 如何实现 PyTorch 中的 Dice 损失
在深度学习中，损失函数是优化模型的关键组成部分之一。Dice 损失在医学图像分割任务中尤为重要，因为它能有效衡量预测结果与真实标签之间的重叠程度。本文将详细介绍如何在 PyTorch 中实现 Dice 损失，包括每一个步骤的解释和代码示例。
## 流程概述
为了创建 Dice 损失函数，我们可以根据以下步骤进行操作：
| 步骤 | 描述
原创
2024-10-13 04:33:14
502阅读
感知损失（Perceptual Loss）是一种基于深度学习的图像风格迁移方法中常用的损失函数。与传统的均方误差损失函数（Mean Square Error，MSE）相比，感知损失更注重图像的感知质量，更符合人眼对图像质量的感受。感知损失是通过预训练的神经网络来计算两张图片之间的差异。通常使用预训练的卷积神经网络（Convolutional Neural Network，CNN），这些网络已经在大
知识蒸馏（Knowledge Distillation）的概念由Hinton大神于2015年在论文《Distilling the Knowledge in a Neural Network》中提出，论文见：https://arxiv.org/abs/1503.02531。此方法的主要思想为：通过结构复杂、计算量大但是性能优秀的教师神经网络，对结
转载
2024-10-27 21:39:14
64阅读
