19 种损失函数tensorflow和pytorch很多都是相似的，这里以pytorch为例1、 L1范数损失 L1Loss计算 output 和 target 之差的绝对值。 torch.nn.L1Loss(reduction=‘mean’) 参数： reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean。2、均方误差损失
转载
2024-08-19 16:43:58
140阅读
目录1、权重衰减2、L2正则化和L1正则化3、高维线性回归演示权重衰减1、权重衰减一般来说，我们总是可以通过去收集更多的训练数据来缓解过拟合。 但这可能成本很高，耗时颇多，或者完全超出我们的控制，因而在短期内不可能做到。所以我们需要将重点放在正则化技术上，权重衰减（weight decay）是最广泛使用的正则化的技术之一， 它通常也被称为L2正则化2、L2正则化和L1正则化L2正则化线性模型构成经
转载
2024-04-10 07:19:40
39阅读
先来介绍几个比较重要的函数1. torch.nn.CrossEntropyLoss()函数交叉熵损失函数，在pytorch中若模型使用CrossEntropyLoss这个loss函数，则不应该在最后一层再使用softmax进行激活，因为CrossEntropyLoss函数包括了softmax和计算交叉熵两个过程。分析实例： pytorch 计算 CrossEntropyLoss 需要先经 sof
转载
2024-04-07 17:57:15
73阅读
我用的是Anaconda3 ，用spyder编写pytorch的代码，在Anaconda3中新建了一个pytorch的虚拟环境（虚拟环境的名字就叫pytorch)。以下内容仅供参考哦~~1.首先打开Anaconda Prompt，然后输入activate pytorch，进入pytorch.2.输入pip install tensorboardX，安装完成后，输入python，用from tens
转载
2023-07-28 15:38:38
1080阅读
Pytorch中的学习率调整有两种方式：手动调整optimizer中的lr参数利用lr_scheduler()提供的几种衰减函数 Pytorch中的学习率调整方法一. 手动调整optimizer中的lr参数二. 利用lr_scheduler()提供的几种调整函数2.1 LambdaLR(自定义函数)2.2 StepLR(固定步长衰减)2.3 MultiStepLR(多步长衰减)2.4 Expone
转载
2023-11-08 20:30:13
246阅读
摘要这个版本的代码是非常的简洁，loss的定义和训练部分写法也与目标分类十分相近，所以学习难度降低不少，能省的代码全部省掉，最主要的目标让大家了解目标检测的本质，会写训练和检测测试部分就可以，缺少mAP计算，这部分我会在单独讲解。focal loss定义在前二章文章中，第一篇主要是讲解retinanet提取出来5种特征图用来进行预测，第二篇讲解数据处理成我们需要预测的label，就是为了方便进入l
专栏目录： 本文 +pytorch快速入门与实战——一、知识准备（要素简介）pytorch快速入门与实战——二、深度学习经典网络发展pytorch快速入门与实战——三、Unet实现pytorch快速入门与实战——四、网络训练与测试注意：教程模块间独立性较高，任何地方均可跳跃性阅读，别管是不同文章之间，还是文章的不同模块。 怎么开心怎么来。反正都是从“这都是啥”到”呵呵就这“ 部分列举的不详细是因为
转载
2024-02-29 11:25:50
55阅读
在使用 PyTorch 进行模型训练时，有时可能会遇到“loss 值不变”的问题，这通常表明模型未能有效学习。要解决此问题，我们可以从多个方面分析并逐步解决。接下来，我将详细记录下这个过程，将包括版本对比、迁移指南、兼容性处理、实战案例、排错指南和性能优化。
### 版本对比
首先，了解不同版本的 PyTorch 可以帮助我们识别潜在的问题。下面是一个版本特性差异的对比表格。
| 版本
# PyTorch 查看 loss 值的方法
## 简介
在深度学习模型的训练过程中，我们通常会需要查看模型的损失值（loss value）来评估模型的训练效果。PyTorch是一个广泛使用的深度学习框架，提供了多种方法来查看模型的损失值。本文将介绍如何使用PyTorch来查看loss值，并给出了详细的代码示例和解释。
## 查看 loss 值的流程
下面是查看 loss 值的基本流程，我们
原创
2023-10-14 12:13:16
235阅读
# 如何处理 PyTorch 中的 Loss 值为 NaN 的问题
作为一名初入开发领域的新手，遇到 PyTorch 中 Loss 值为 NaN（不是一个数字）的问题时，可能会让人感到困惑。Loss 值为 NaN 通常意味着在模型训练过程中出现了某种不当情况，比如数据异常、模型设置不当等。本篇文章将通过一个系统的流程来帮助你理解和解决这个问题。
## 流程概述
在解决 Loss 值为 NaN
# PyTorch Loss 值带有 Device 的实现指南
在深度学习中，使用 PyTorch 训练模型时，计算损失值（loss value）是一个重要的步骤。通常，我们需要处理不同的计算设备（如 CPU 和 GPU），确保数据和模型都在同一个设备上，并针对设备计算损失。本文将给出一个详细的步骤指南，教你如何在 PyTorch 中正确地处理带有设备的损失值。
## 流程概述
以下是实现过
原创
2024-10-21 05:57:46
75阅读
Pytorch详解NLLLoss和CrossEntropyLosspytorch的官方文档写的也太简陋了吧…害我看了这么久…NLLLoss在图片单标签分类时，输入m张图片，输出一个m*N的Tensor，其中N是分类个数。比如输入3张图片，分三类，最后的输出是一个3*3的Tensor，举个例子：第123行分别是第123张图片的结果，假设第123列分别是猫、狗和猪的分类得分。可以看出模型认为第123张
转载
2023-12-25 11:24:05
32阅读
作者：郭小喵玩AI导读如果你正在 pytorch 中训练深度学习模型，那么如何能够加快模型训练速度呢？本文介绍一些改动小、影响大的在pytorch中加速深度学习模型的方法。对于每种方法，会对其思路进行简要介绍，然后预估提升速度并讨论其限制。也许你仍然在使用32位精度进行计算，或者甚至只是在单个GPU上进行训练。然而，随着科技的进步，我们已经有了更好的选择。使用更高精度的计算，如16位浮点数或混合精
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
转载
2024-08-21 19:26:25
57阅读
目录前言均方差损失基本形式与原理背后的假设平方绝对误差损失基本形式与原理背后的假设MAE 与 MSE 区别Huber LossHuber Loss 的特点分位数损失交叉熵损失二分类多分类Cross Entropy is good. But WHY？总结机器学习中的监督学习本质上是给定一系列训练样本 ，尝试学习 的映射关系，使得给定一个 &nbs
最近训练一个BP神经网络做回归，发现拟合效果很烂，甚至我用单样本训练竟然还是欠拟合。然后我昨天晚上发现，这个预测结果，随着我epoch次数的增加，最后所有预测结果会趋同。 这边一共放了三张大图，每张大图里面有两张小图，上面的小图记录了train accuracy（红）和test accuracy（蓝），评价标准是R square；下面的小图是我追踪的预测结果。三次训练分别是10、3、2个样本。 可
转载
2023-09-27 17:39:04
277阅读
## PyTorch 中调用 SSIM Loss 的方法
在深度学习中，图像质量评估是计算机视觉领域中的一个重要研究方向。结构相似性（SSIM）是一种广泛使用的图像质量评价标准，它通过考虑图像亮度、对比度和结构来评估图像的相似性。在 PyTorch 中，我们可以轻松实现 SSIM 损失函数来帮助训练生成网络（如 GAN）或图像重建任务（如图像去噪、超分辨率等）。本文将详细介绍如何在 PyTorc
# 实时观察 PyTorch Loss 值的项目方案
在机器学习和深度学习的训练过程中，实时监控损失值（loss）可以帮助我们了解模型的训练效果及其是否收敛。在本项目中，我们将使用 PyTorch 框架来实现这个功能，采用 `matplotlib` 或 `tensorboard` 进行可视化，同时提供一个简单的训练损失监控代码实例。
## 项目需求
1. 使用 PyTorch 框架构建并训练
自定义损失函数以函数的方式定义def my_loss(output, target):
loss = torch.mean((output - target)**2)
return loss以类方式定义更多的时候以类的方式定义，观察Pytorch自带的损失函数，部分损失函数直接继承自_Loss类，部分则先继承自_WeightedLoss类，而_WeightedLoss又继承自_Lo
转载
2024-06-11 18:41:11
99阅读
目录前言一、损失函数二、详解1.回归损失2.分类损失三. 总结 前言损失函数在深度学习中占据着非常重要的作用，选取的正确与否直接关系到模型的好坏。本文就常用的损失函数做一个通俗易懂的介绍。一、损失函数根据深度函数的模型类型，损失函数可分为三类：1. 回归损失（Regression loss）：预测连续的数值，即输出是连续数据：如预测房价、气温等；2. 分类损失（Classificat
转载
2023-07-11 13:39:17
156阅读
