一般来说，监督学习的目标函数由损失函数和正则化项组成。(Objective = Loss + Regularization)Pytorch中的损失函数一般在训练模型时候指定。注意Pytorch中内置的损失函数的参数和tensorflow不同，是y_pred在前，y_true在后，而Tensorflow是y_true在前，y_pred在后。对于回归模型，通常使用的内置损失函数是均方损失函数nn.MS
转载
2023-08-03 10:55:41
241阅读
## 项目方案：基于PyTorch的学习率调整策略
### 1. 概述
在深度学习任务中，学习率的选择对模型的收敛速度和最终性能起着关键作用。然而，通常情况下固定的学习率往往无法在训练过程中适应不同的数据分布和模型参数状态。因此，根据损失函数的变化来自动调整学习率是一种常见的策略。
本文将介绍如何使用PyTorch来实现根据损失函数动态调整学习率的方法，以提高模型训练的效果。
### 2.
原创
2023-10-26 10:28:11
320阅读
机器学习中的分类问题常用到交叉熵作为损失函数，那么Pytorch中如何使用交叉熵损失函数呢？这就涉及到torch.nn中的三个类：nn.LogSoftmax、nn.NLLLoss、nn.CrossEntropyLoss，今天剖析一下这几个类，便于以后查找。一、nn.LogSoftmaxsoftmax常用在网络的输出层上，以得到每个类别的概率，顾名思义，nn.LogSoftmax就是对softmax
转载
2023-09-25 12:16:33
142阅读
bb5.jpg" alt=“慎用！BLEU评价NLP文本输出质量存在严重问题”> <divAI 前线导读：在评价机器翻译系统时，译文质量究竟如何，无法通过文本形式的输出直观地提现，因此需要采用一些适当的量化标准对机器翻译的译文输出进行评价，这也就催生了几个评价指标。而 BLEU 是一种流行的机器翻译评价指标。但是，Rachael 认为 BLEU 存在的问题比较严重，提醒 NLP 从业者
一、自定义损失函数PyTorch在torch.nn模块为我们提供了许多常用的损失函数，比如：MSELoss，L1Loss，BCELoss… 但是随着深度学习的发展，出现了越来越多的非官方提供的Loss，比如DiceLoss，HuberLoss，SobolevLoss… 这些Loss Function专门针对一些非通用的模型，PyTorch不能将他们全部添加到库中去，因此这些损失函数的实现则需要我们
转载
2023-09-16 21:24:45
491阅读
# 如何在PyTorch中调整Loss权重
在深度学习的模型训练过程中，如何调整损失函数（Loss）的权重是一个关键环节。尤其在不平衡分类任务中，某些类别的样本数量可能会远超其他类别，直接导致模型对少数类别的识别能力下降。为了解决这个问题，我们可以为不同的类别分配不同的损失权重，从而使模型在训练过程中更加重视少数类别。那么，如何在PyTorch中实现这一过程呢？接下来，我将详细介绍这个过程。
原创
2024-08-08 15:07:00
556阅读
在计算loss的时候，最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits，那么它到底是怎么做的呢？首先明确一点，loss是代价值，也就是我们要最小化的值tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)与方法有关的一共两个参数 ：第一个参数logits：就是神经网络最后
三大要素支撑起了近十年 Deep Leanring 的发展浪潮: DL algorithm, Big data, Computation power. 从本节起，我们学习一下 PyTorch 的使用。创建Tensor首先，什么是Tensor？Tensor是一个任意维度的矩阵 (从标量开始). 而编写神经网络 (NN) 的过程其实就是一个构建一个Tensor的计算图的过程。其中，所有参与计算的变量都
转载
2024-02-23 10:49:03
38阅读
在使用 PyTorch 进行深度学习模型训练时，常见的问题之一是当学习率设置过高导致损失值（loss）变为 NaN。这通常会影响模型的训练效果和稳定性，进而影响项目的进展。下面是针对这个问题的详细记录，包括环境准备、集成步骤、配置详解、实战应用、性能优化和生态扩展。
### 环境准备
为了确保我们能够顺利地使用 PyTorch，我们需要对环境进行准备，安装必要的依赖库。
#### 依赖安装指
1. torch.nn.CrossEntropyLossCrossEntropyLoss的作用相当于将nn.LogSoftmax()和nn.NLLLoss()结合在一起，nn.LogSoftmax()相当于先对输入矩阵计算softmax值，然后取log。举例说明这几个函数的功能： （1）使用nn.Softmax() + torch.log()来模拟nn.LogSoftmax()import tor
转载
2023-10-14 06:20:52
175阅读
一个月Pytorch从入门到实践学习时间：学习内容：3-2 张量，标量，向量，矩阵3-3 tensor创建理论3-4 tensor创建代码3-5 tensor属性tensor 属性类别例子设备属性稀疏属性3-6 稀疏张量编程实践3-7 tensor算术运算加法运算add减法运算sub乘法mul（区别矩阵乘）除法div矩阵乘法（5种）幂运算3-8 tensor算术运算编程实现3-9 in-plac
我们在训练的过程中，经常会出现loss不再下降的问题，但是此时gradient可能并没有很小，并非处于驻点。 可能是出现了梯度在山谷的山谷壁之间来回震荡的情况。gradient依然很大，但是loss不再减小了。 整个训练过程中，每个参数都一直使用同一个学习率，对于优化而言是不够的。学习率调整的原则是 ...
转载
2021-09-12 14:34:00
1190阅读
2评论
最近在复现一篇论文的训练代码时，发现原论文中的总loss由多个loss组成。如果只有一个loss，那么直接loss.backward()即可，但是这里不止一个。一开始看到不止一个loss时，不知道将backward()放在哪里。for j in range(len(output)):
loss += criterion(output[j], target_var) 我们知道，一般传统的梯度
转载
2023-11-11 01:19:36
244阅读
学习率的调整会对网络模型的训练造成巨大的影响，本文总结了pytorch自带的学习率调整函数，以及其使用方法。 ...
转载
2021-07-27 12:17:00
489阅读
2评论
数据集这个数据是来自Kaggle上的一个验证码识别例子，作者采用的是迁移学习，基于ResNet18做到的训练。https://www.kaggle.com/anjalichoudhary12/captcha-with-pytorch这个数据集总计有1070张验证码图像，我把其中的1040张用作训练，30张作为测试，使用pytorch自定义了一个数据集类，代码如下：1import torch
2i
转载
2024-04-02 22:48:49
192阅读
PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习
转载
2022-02-23 17:23:35
336阅读
PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类，分别是a. 有序调整：等间隔调整(Step)，按需调整学习率(MultiStep)，指数衰减调整(Exponential)和 余弦退火(CosineAnnealing)。b. 自适应调整：自适应调整学习率 ReduceLROnPlateau。c. 自定义调整：自定义调整学习率 LambdaLR。1、 等间隔调整学习率 StepLR等间隔调整学习率，调整倍数为ga
转载
2021-06-18 14:10:16
273阅读
使用scipy.optimize进行优化首先看一看这个函数的形式scipy.optimize.fmin_cg(f, x0, fprime=None, args=(), gtol=1e-05, norm=inf, epsilon=1.4901161193847656e-08, maxiter=None, full_output=0, disp=1, retall=0, callback=None)f
在使用PyTorch进行深度学习模型的训练时，定义合适的损失函数对于模型的性能至关重要。在某些情况下，可能需要自定义损失函数，并在其中调整不同类别样本的权重，以应对类别不平衡或其他需求。本文将详尽记录如何进行“PyTorch自定义loss调整权重”的过程。
## 问题背景
在进行图像分类任务时，我们发现在数据集中，各类别的样本数量存在显著差异，导致模型在某些类别上表现不佳，影响了整体的业务效果。
https://www.emperinter.info/2020/08/05/change-leaning-rate-by-reducelronplateau-in-pytorch/ 缘由 自己之前写过一个Pytorch学习率更新,其中感觉依据是否loss升高或降低的次数来动态更新...
转载
2021-05-08 12:39:00
208阅读
