我用的是Anaconda3 ，用spyder编写pytorch的代码，在Anaconda3中新建了一个pytorch的虚拟环境（虚拟环境的名字就叫pytorch)。以下内容仅供参考哦~~1.首先打开Anaconda Prompt，然后输入activate pytorch，进入pytorch.2.输入pip install tensorboardX，安装完成后，输入python，用from tens
转载
2023-07-28 15:38:38
1080阅读
# PyTorch 查看 loss 值的方法
## 简介
在深度学习模型的训练过程中，我们通常会需要查看模型的损失值（loss value）来评估模型的训练效果。PyTorch是一个广泛使用的深度学习框架，提供了多种方法来查看模型的损失值。本文将介绍如何使用PyTorch来查看loss值，并给出了详细的代码示例和解释。
## 查看 loss 值的流程
下面是查看 loss 值的基本流程，我们
原创
2023-10-14 12:13:16
235阅读
# 使用 PyTorch 查看训练误差（Loss）的入门指南
## 一、介绍
在深度学习的训练过程中，监控模型的训练损失（loss）是一项重要的任务。损失值可以用来判断模型的学习效果，也能帮助我们进行模型的调优。本文将介绍如何在 PyTorch 中实现查看训练过程中的损失。
## 二、流程概述
以下是查看 PyTorch 中训练损失的基本流程：
| 步骤 | 描述 |
|------|-
原创
2024-10-22 05:51:19
144阅读
Pytorch中的学习率调整有两种方式：手动调整optimizer中的lr参数利用lr_scheduler()提供的几种衰减函数 Pytorch中的学习率调整方法一. 手动调整optimizer中的lr参数二. 利用lr_scheduler()提供的几种调整函数2.1 LambdaLR(自定义函数)2.2 StepLR(固定步长衰减)2.3 MultiStepLR(多步长衰减)2.4 Expone
转载
2023-11-08 20:30:13
246阅读
19 种损失函数tensorflow和pytorch很多都是相似的，这里以pytorch为例1、 L1范数损失 L1Loss计算 output 和 target 之差的绝对值。 torch.nn.L1Loss(reduction=‘mean’) 参数： reduction-三个值，none: 不使用约简；mean:返回loss和的平均值；sum:返回loss的和。默认：mean。2、均方误差损失
转载
2024-08-19 16:43:58
140阅读
损失函数1. 损失函数概念损失函数：衡量模型输出与真实标签的差异\[损失函数(Loss Function): Loss = f(\hat y,y)
\]\[代价函数(Cost Function): Cost =\frac{1}{N} \sum^{N}_{i}f(\hat y_i ,y_i)
\]\[目标函数(Objective Function): Obj = Cost+Regularizatio
转载
2023-07-06 22:16:08
108阅读
在使用 PyTorch 进行模型训练时，有时可能会遇到“loss 值不变”的问题，这通常表明模型未能有效学习。要解决此问题，我们可以从多个方面分析并逐步解决。接下来，我将详细记录下这个过程，将包括版本对比、迁移指南、兼容性处理、实战案例、排错指南和性能优化。
### 版本对比
首先，了解不同版本的 PyTorch 可以帮助我们识别潜在的问题。下面是一个版本特性差异的对比表格。
| 版本
# PyTorch中查看Loss和Acc的方法
在深度学习领域中，我们经常需要使用一种或多种指标来评估我们的模型性能。两个最常用的指标是Loss和Acc（Accuracy）。Loss代表模型在训练过程中的误差，而Acc代表模型在测试过程中的准确率。
本文将介绍如何使用PyTorch来查看Loss和Acc，并提供相应的代码示例。
## 1. 查看Loss
Loss代表模型预测值与真实值之间的
原创
2023-09-15 23:38:21
671阅读
# 如何处理 PyTorch 中的 Loss 值为 NaN 的问题
作为一名初入开发领域的新手，遇到 PyTorch 中 Loss 值为 NaN（不是一个数字）的问题时，可能会让人感到困惑。Loss 值为 NaN 通常意味着在模型训练过程中出现了某种不当情况，比如数据异常、模型设置不当等。本篇文章将通过一个系统的流程来帮助你理解和解决这个问题。
## 流程概述
在解决 Loss 值为 NaN
# PyTorch Loss 值带有 Device 的实现指南
在深度学习中，使用 PyTorch 训练模型时，计算损失值（loss value）是一个重要的步骤。通常，我们需要处理不同的计算设备（如 CPU 和 GPU），确保数据和模型都在同一个设备上，并针对设备计算损失。本文将给出一个详细的步骤指南，教你如何在 PyTorch 中正确地处理带有设备的损失值。
## 流程概述
以下是实现过
原创
2024-10-21 05:57:46
75阅读
# PyTorch 中查看 Loss 的 Shape
在使用 PyTorch 进行深度学习时，确保你了解损失函数（Loss Function）是至关重要的，因为它可以帮助你评估模型的性能。在训练过程中，常常需要查看 loss 的形状（shape）以确保它符合预期。在这篇文章中，我们将探讨如何在 PyTorch 中查看损失的形状，介绍一些基本概念，并通过示例代码来加深理解。
## 什么是 Los
最近训练一个BP神经网络做回归，发现拟合效果很烂，甚至我用单样本训练竟然还是欠拟合。然后我昨天晚上发现，这个预测结果，随着我epoch次数的增加，最后所有预测结果会趋同。 这边一共放了三张大图，每张大图里面有两张小图，上面的小图记录了train accuracy（红）和test accuracy（蓝），评价标准是R square；下面的小图是我追踪的预测结果。三次训练分别是10、3、2个样本。 可
转载
2023-09-27 17:39:04
277阅读
目录前言均方差损失基本形式与原理背后的假设平方绝对误差损失基本形式与原理背后的假设MAE 与 MSE 区别Huber LossHuber Loss 的特点分位数损失交叉熵损失二分类多分类Cross Entropy is good. But WHY？总结机器学习中的监督学习本质上是给定一系列训练样本 ，尝试学习 的映射关系，使得给定一个 &nbs
作者：郭小喵玩AI导读如果你正在 pytorch 中训练深度学习模型，那么如何能够加快模型训练速度呢？本文介绍一些改动小、影响大的在pytorch中加速深度学习模型的方法。对于每种方法，会对其思路进行简要介绍，然后预估提升速度并讨论其限制。也许你仍然在使用32位精度进行计算，或者甚至只是在单个GPU上进行训练。然而，随着科技的进步，我们已经有了更好的选择。使用更高精度的计算，如16位浮点数或混合精
# PyTorch 中查看 Loss 的 Gradients
在深度学习中，损失函数（loss function）是一个关键的组成部分，它衡量模型的预测与实际值之间的差距。在训练过程中，损失的梯度（gradients）可以帮助我们了解模型参数的调整方向及大小。通过优化算法（如 SGD、Adam 等），我们可以利用这些梯度来更新模型的参数，从而逐步改进模型的性能。本文将详细介绍如何在 PyTorc
原创
2024-09-08 05:51:50
610阅读
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
转载
2024-08-21 19:26:25
57阅读
自定义损失函数以函数的方式定义def my_loss(output, target):
loss = torch.mean((output - target)**2)
return loss以类方式定义更多的时候以类的方式定义，观察Pytorch自带的损失函数，部分损失函数直接继承自_Loss类，部分则先继承自_WeightedLoss类，而_WeightedLoss又继承自_Lo
转载
2024-06-11 18:41:11
99阅读
目录前言一、损失函数二、详解1.回归损失2.分类损失三. 总结 前言损失函数在深度学习中占据着非常重要的作用，选取的正确与否直接关系到模型的好坏。本文就常用的损失函数做一个通俗易懂的介绍。一、损失函数根据深度函数的模型类型，损失函数可分为三类：1. 回归损失（Regression loss）：预测连续的数值，即输出是连续数据：如预测房价、气温等；2. 分类损失（Classificat
转载
2023-07-11 13:39:17
156阅读
文章目录1 Loss 介绍2 常见 LossL1 lossL2 lossNegative Log-Likelihood（NLL）Binary Cross-EntropyCross-EntropyHinge EmbeddingMargin Ranking LossTriplet Margin LossKL Divergence Loss3 Loss 设计4 softmax 及其变体5 Loss 异
转载
2024-03-11 12:11:44
203阅读
目录参考文献人脸损失函数CenterLoss （2016）余弦距离 cosine lossCosineMarginLoss（Large-Margin-Cosine-Loss）（2018 CosFace）ArcFaceCircle Loss（2020）MV-Softmax loss（2020）CurricularFace（2020）人脸损失函数github源码详解ArcFace（InsightFa
转载
2024-05-27 15:46:19
77阅读
