19 种损失函数tensorflow和pytorch很多都是相似的，这里以pytorch为例1、 L1范数损失 L1Loss计算 output 和 target 之差的绝对值。 torch.nn.L1Loss(reduction=‘mean’) 参数： reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean。2、均方误差损失
转载
2024-08-19 16:43:58
140阅读
目录1、权重衰减2、L2正则化和L1正则化3、高维线性回归演示权重衰减1、权重衰减一般来说，我们总是可以通过去收集更多的训练数据来缓解过拟合。 但这可能成本很高，耗时颇多，或者完全超出我们的控制，因而在短期内不可能做到。所以我们需要将重点放在正则化技术上，权重衰减（weight decay）是最广泛使用的正则化的技术之一， 它通常也被称为L2正则化2、L2正则化和L1正则化L2正则化线性模型构成经
转载
2024-04-10 07:19:40
39阅读
先来介绍几个比较重要的函数1. torch.nn.CrossEntropyLoss()函数交叉熵损失函数，在pytorch中若模型使用CrossEntropyLoss这个loss函数，则不应该在最后一层再使用softmax进行激活，因为CrossEntropyLoss函数包括了softmax和计算交叉熵两个过程。分析实例： pytorch 计算 CrossEntropyLoss 需要先经 sof
转载
2024-04-07 17:57:15
73阅读
摘要这个版本的代码是非常的简洁，loss的定义和训练部分写法也与目标分类十分相近，所以学习难度降低不少，能省的代码全部省掉，最主要的目标让大家了解目标检测的本质，会写训练和检测测试部分就可以，缺少mAP计算，这部分我会在单独讲解。focal loss定义在前二章文章中，第一篇主要是讲解retinanet提取出来5种特征图用来进行预测，第二篇讲解数据处理成我们需要预测的label，就是为了方便进入l
专栏目录： 本文 +pytorch快速入门与实战——一、知识准备（要素简介）pytorch快速入门与实战——二、深度学习经典网络发展pytorch快速入门与实战——三、Unet实现pytorch快速入门与实战——四、网络训练与测试注意：教程模块间独立性较高，任何地方均可跳跃性阅读，别管是不同文章之间，还是文章的不同模块。 怎么开心怎么来。反正都是从“这都是啥”到”呵呵就这“ 部分列举的不详细是因为
转载
2024-02-29 11:25:50
55阅读
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
转载
2024-08-21 19:26:25
57阅读
目录参考文献人脸损失函数CenterLoss （2016）余弦距离 cosine lossCosineMarginLoss（Large-Margin-Cosine-Loss）（2018 CosFace）ArcFaceCircle Loss（2020）MV-Softmax loss（2020）CurricularFace（2020）人脸损失函数github源码详解ArcFace（InsightFa
转载
2024-05-27 15:46:19
77阅读
文章目录1 Loss 介绍2 常见 LossL1 lossL2 lossNegative Log-Likelihood（NLL）Binary Cross-EntropyCross-EntropyHinge EmbeddingMargin Ranking LossTriplet Margin LossKL Divergence Loss3 Loss 设计4 softmax 及其变体5 Loss 异
转载
2024-03-11 12:11:44
205阅读
我用的是Anaconda3 ，用spyder编写pytorch的代码，在Anaconda3中新建了一个pytorch的虚拟环境（虚拟环境的名字就叫pytorch)。以下内容仅供参考哦~~1.首先打开Anaconda Prompt，然后输入activate pytorch，进入pytorch.2.输入pip install tensorboardX，安装完成后，输入python，用from tens
转载
2023-07-28 15:38:38
1080阅读
目录前言一、损失函数二、详解1.回归损失2.分类损失三. 总结 前言损失函数在深度学习中占据着非常重要的作用，选取的正确与否直接关系到模型的好坏。本文就常用的损失函数做一个通俗易懂的介绍。一、损失函数根据深度函数的模型类型，损失函数可分为三类：1. 回归损失（Regression loss）：预测连续的数值，即输出是连续数据：如预测房价、气温等；2. 分类损失（Classificat
转载
2023-07-11 13:39:17
156阅读
文章目录1、CrossEntropyLoss-CE 交叉熵损失1.1 是什么？1.2 物理含义1.2 怎么代码实现和代码使用？1.2* 怎么代码实现和代码使用？1.3 应用场景1.3.1 多分类1.3.1 数值的回归参考 1、CrossEntropyLoss-CE 交叉熵损失1.1 是什么？一个损失函数，虽然说的是交叉熵，但是和《信息论》的交叉熵不一样。首先输入是size是(minibatch,
转载
2023-11-12 13:09:20
188阅读
目录准备知识pytorch计算图（前馈+反向）pytorch线性回归（代码实战）构造数据pytorch中的分析构造模型构造损失函数和优化器迭代更新梯度输出与测试 准备知识注：了解计算图的同学可直接跳过。pytorch计算图（前馈+反向）无论在pytorch还是在tensorflow中，都是用计算图来计算前馈和反向传播过程。我们首先来介绍一个简单的计算图： 如上图所示，表示了y’ = w * x的
转载
2023-10-16 02:29:53
93阅读
文章目录1. CrossEntropyLoss()1.1 CEL中不同计算模式的影响1.2 CEL中分类权重 weights 的影响1.3 nn.LogSoftmax()2. nn.NLLLoss()3. nn.BCELoss()4. nn.BCEWithLogitsLoss()5. nn.L1LOSS （MAE）6. nn.MSELoss7. nn.SmoothL1Loss8. nn.Pois
转载
2023-11-02 10:09:41
176阅读
文章目录1. 损失函数总览2. 回归损失函数3. 分类损失函数3.1 [交叉熵](https://charlesliuyx.github.io/2017/09/11/什么是信息熵、交叉熵和相对熵/ "【直观详解】信息熵、交叉熵和相对熵")3.2 分类损失函数3.3 总结 文章目录1. 损失函数总览2. 回归损失函数3. 分类损失函数3.1 [交叉熵](https://charlesliuyx.
转载
2023-08-09 00:55:43
223阅读
文章目录triplet losstriplet hard loss triplet loss官方文档：torch.nn — PyTorch master documentation关于三元损失，出自论文：FaceNet: A Unified Embedding for Face Recognition and Clustering三元损失的介绍很多看下图：训练集中随机选取一个样本：Anchor（
转载
2024-01-05 10:09:39
399阅读
在构建loss时pytorch常用的包中有最常见的MSE、cross entropy（logsoftmax+NLLLoss）、KL散度Loss、BCE、HingeLoss等等，详见：https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#loss-functions这里主要讲解一种考虑类间距离的Center
转载
2024-03-06 09:58:54
217阅读
在上一篇文章 中，我们自己手动实现了对于softmax操作和交叉熵的计算，可其实这些在Pytorch框架中已经被实现了，我们直接拿来使用即可。但是，为了能够对这些内容有着更深刻的理解，通常我们都会自己手动实现一次，然后在今后的使用中就可以直接拿现成的来用了。在接下来这篇文章中，笔者将首先介绍如何调用Pytorch中的交叉熵损失函数，然后再同时借助nn.Linear()来实现一个简洁版的
转载
2023-11-25 12:27:11
156阅读
前言交叉熵损失本质是衡量模型预测的概率分布与实际概率分布的差异程度，其值越小，表明模型的预测结果与实际结果越接近，模型效果越好。熵的概念来自与信息论，参考资料1对交叉熵的概念做了简明的介绍，很好理解。需要注意： Pytorch中的CrossEntropyLoss是LogSoftMax与NLLLoss的结合，下面以实例逐步拆解CrossEntropyLoss的计算过程。LogSoftMax当网络最后
转载
2023-08-11 21:23:36
171阅读
麻雀虽小，五脏俱全～
如何使用Pytorch迅速写一个Mnist数据分类器一段时间没有更新博文，想着也该写两篇文章玩玩了。而从一个简单的例子作为开端是一个比较不错的选择。本文章会手把手地教读者构建一个简单的Mnist(Fashion-Mnist同理)的分类器，并且会使用相对完整的Pytorch训练框架，因此对于初学者来说应该会是一个方便入门且便于阅读的文
转载
2024-06-18 12:45:22
31阅读
Pytorch中的学习率调整有两种方式：手动调整optimizer中的lr参数利用lr_scheduler()提供的几种衰减函数 Pytorch中的学习率调整方法一. 手动调整optimizer中的lr参数二. 利用lr_scheduler()提供的几种调整函数2.1 LambdaLR(自定义函数)2.2 StepLR(固定步长衰减)2.3 MultiStepLR(多步长衰减)2.4 Expone
转载
2023-11-08 20:30:13
246阅读
