一、指标分类1- Accuracy（准确率）2- Precision（精确率）3- Recall（召回率）4- F1-Score5- Fn-Score定义：对于一个二分类问题，我们可以将实际值与预测值做一个组合，得到以下这四种结果： TP：那些实际上为正向的标签，你预测它为正向；（预测正确）TN：那些实际上为负向的标签，你预测它为负向；（预测正确）FP：那些实际上为正向的标签，你把它预测为负向；（
在阅读模块源码里, 常常看到 globals() locals() 的使用, 这两个函数虽然可以从命名中从外观上知道不同, 但仍然不明白具体使用方式和实际的意义. 带着好奇和疑问, 先看看文档和搜索相关的博客, 额外还了解到vars() 函数的信息, 在此带着样例代码介绍. 首先参考官方文档对这三个函数的介绍: 2. Built-in Functions – Python3.5glob
# PyTorch 中 MSELoss 和 L1Loss 的对比
在深度学习中，损失函数用于衡量模型预测值与真实值之间的差异。最常见的损失函数包括均方误差损失（Mean Squared Error Loss, MSELoss）和平均绝对误差损失（L1 Loss）。本文将带领你探索如何在 PyTorch 中比较这两种损失函数。
## 流程概述
在进行对比之前，我们需要规划一下流程。以下是实现对
原创
2024-09-17 07:16:22
238阅读
torch.sparse是一个专门处理稀疏张量的模块。通常，张量会按一定的顺序连续地进行存取。但是，对于一个存在很多空值的稀疏张量来说，顺序存储的效率显得较为低下。因此，pytorch推出了稀疏张量的处理模块。在这里，有意义的值被称为specified elements，而无意义的值（空值，通常为0，但是也可以是其他值）则被称为fill value。只有足够稀疏的张量使用这种方式进行存储才能获
转载
2023-09-06 16:31:19
86阅读
L1Lossnn.L1Loss 也称为平均绝对误差（Mean Absolute Error，MAE）。它计算预测值与真实值之间的差异（即误差），然后取绝对值并求和，最后除以样本数量得到平均误差。具体来说，对于一批大小为 的样本，nn.L1Loss 的计算公式如下：其中， 为模型的预测输出，nn.L1Loss 通常用于回归问题中，例如预测房价、预测人的年龄等。它的优点是可以对异常值不敏感，即单个异
转载
2024-03-02 08:59:31
230阅读
文章目录损失函数的定义神经网络的学习为何要设定损失函数？常见的损失函数1. 0-1损失函数(zero-one loss)2. 对数损失函数3. 平方损失函数MSE(均值平方差）4. Hinge 损失函数5. 交叉熵损失函数 (Cross-entropy loss function) 损失函数的定义损失函数，又叫目标函数，是编译一个神经网络模型必须的两个要素之一。另一个必不可少的要素是优化器。损失
转载
2024-02-27 19:50:05
239阅读
1. 基础介绍简单版SSD网络中的SmoothL1LossLayer层借鉴于Fast R-CNN，用于计算smooth L1损失，其中的光滑L1函数如下：其导函数为：之所以称为光滑L1函数，是因为此函数处处可导，而原L1函数在x=0处是不可导的。smooth L1损失为：其中：
y
原创
2022-02-07 16:25:59
2958阅读
简单版SSD网络中的SmoothL1LossLayer层借鉴于Fast R-CNN，用于计算smooth L1损失，其中的光滑L1函数如下：其导函数为：之所以称为光滑L1函数，是因为此函数处处可导，而原L1函数在x=0处是不可导的。smooth L1损失为：其中：yi=[yi1,yi2,....,yik]Ty_i = [y_{i1},y_{i2},....,y_{ik}]^Tyi=[yi1,yi2,....,yik]T为标签向量;y^i\hat{y}_iy^i为预测向量。带si
原创
2021-06-18 14:10:50
2956阅读
文章目录基础RNN_pytorch实现LSTM(Long Short Term Memory networks)LSTM_pytorch实现GRU(Gated Recurrent Unit)RNN的应用用RNN做图像分类mnistpytorch实现RNN做时间序列（回归）pytorch实现自然语言处理词嵌入pytorch实现Skip-Gram模型N-Gram模型pytorch实现LSTM做词性预
RPN的目标函数是分类和回归损
转载
2022-08-30 10:28:00
79阅读
目录前言一、损失函数二、详解1.回归损失2.分类损失三. 总结 前言损失函数在深度学习中占据着非常重要的作用，选取的正确与否直接关系到模型的好坏。本文就常用的损失函数做一个通俗易懂的介绍。一、损失函数根据深度函数的模型类型，损失函数可分为三类：1. 回归损失（Regression loss）：预测连续的数值，即输出是连续数据：如预测房价、气温等；2. 分类损失（Classificat
转载
2023-07-11 13:39:17
156阅读
衡量预测值与真实值的偏差程度的最常见的loss： 误差的L1范数和L2范数 因为L1范数在误差接近0的时候不平滑，所以比较少用到这个范数 L2范数的缺点是当存在离群点（outliers)的时候，这些点会占loss的主要组成部分。比如说真实值为1，预测10次，有一次预测值为1000，其余次的预测值为1
转载
2018-08-23 21:39:00
307阅读
2评论
详解Smooth L1 Loss函数的计算方式在深度学习中，Smooth L1 Loss函数是一种用于回归任务的损失函数。它在一定程度上克服了均方误差（MSE）损失函数的局限性，特别适用于处理离群值。简介Smooth L1 Loss函数是Huber Loss的一种近似形式。它通过引入平滑因子，使损失函数在离群值附近呈现鲁棒性。相比于MSE损失函数，它在离群值附近不敏感。计算方式Smooth L1
原创
精选
2024-01-28 20:26:00
890阅读
作者 | 歪杠小胀1『记录写这篇文章的初衷』最近在复现一篇论文的训练代码时，发现原论文中的总loss由多个loss组成。如果只有一个loss，那么直接loss.backward()即可，但是这里不止一个。一开始看到不止一个loss时，不知道将backward()放在哪里。for j in range(len(output)):
loss += criterion(output[j
转载
2024-05-10 10:07:14
41阅读
探索Dassl.pytorch：一种强大的多任务学习框架 项目简介是由Kaiyang Zhou开发的一个深度适应学习（Deep Adaptation Network, DANN）和领域适应（Domain Adaptation）的PyTorch实现库。这个项目提供了一系列先进的深度学习模型，用于解决在数据分布不匹配情况下的机器学习问题。技术分析Dassl.pytorch的核心是基于深度网络的领域适
转载
2024-10-31 19:11:06
229阅读
MS-Loss包含两部分，前一部分是Positive Part, 后一部分是Negative Parti) Positive Part(只考虑与Anchor同类样本间的关系，与anchor相似度越小，惩罚力度越大)图中0.7，0.4表示余弦相似度，值越大，则表示两者的特征越相似 补充：余弦距离与欧式距离它们近似反比关系，因此图中，0.4的红线明明很长(欧式距离)，但是值（余弦距离）很低。x1 =
转载
2024-06-12 10:47:17
122阅读
一.损失函数1.损失函数概念衡量模型输出与真实标签的差异nn.CrossEntropyLoss功能：nn.LogSoftmax()与nn.NLLLoss()结合，进行交叉熵计算weight：各类别的loss设置权值ignore_index：忽略某个类别reduction：计算模式，可为none/sum/mean2.交叉熵损失函数交叉熵 = 信息熵 + 相对熵3.NLL/BCE/BCEWithLog
转载
2023-12-16 15:20:11
79阅读
我们前面已经计算出了RPN的损失了，而RPN的另一个功能就是区域生成 即生成较好的Proposal， 以供下一个阶段进行细分类与回归。 整个过程的示意图如下 这一部分的内容理解不难，首先是生成大小固定的全部Anchors，关于如何生成Anchors这一点在前面已经讲过了。然后将网络中得到的回归偏移作用到Anchor上使Anchor更加贴近于真值， 并修剪超出图像尺寸的Proposal，得到最初的建
转载
2023-12-20 06:40:20
147阅读
一、损失函数 nn.CrossEntropyLoss()交叉熵损失函数 nn.CrossEntropyLoss() ，结合了 nn.LogSoftmax() 和 nn.NLLLoss() 两个函数。 它在做分类（具体几类）训练的时候是非常有用的。二. 什么是交叉熵交叉熵主要是用来判定实际的输出与期望的输出的接近程度。举个例子：在做分类训练的时候，如果一个样本属于第 K 类，那么这个类别所对应的输出
转载
2023-10-11 20:43:15
288阅读
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
转载
2024-08-21 19:26:25
57阅读
