文章目录1. 损失函数总览2. 回归损失函数3. 分类损失函数3.1 [交叉熵](https://charlesliuyx.github.io/2017/09/11/什么是信息熵、交叉熵和相对熵/ "【直观详解】信息熵、交叉熵和相对熵")3.2 分类损失函数3.3 总结 文章目录1. 损失函数总览2. 回归损失函数3. 分类损失函数3.1 [交叉熵](https://charlesliuyx.
转载
2023-08-09 00:55:43
223阅读
先来介绍几个比较重要的函数1. torch.nn.CrossEntropyLoss()函数交叉熵损失函数，在pytorch中若模型使用CrossEntropyLoss这个loss函数，则不应该在最后一层再使用softmax进行激活，因为CrossEntropyLoss函数包括了softmax和计算交叉熵两个过程。分析实例：https://www.jianshu.com/p/e184663e2f8a
转载
2024-05-29 19:28:59
22阅读
小结本节学习了一些进阶训练方法在PyTorch中的实现,包含自定义损失函数,动态调整学习率,以及模型微调的实现,半精度训练的实现.其中,损失函数常以类的方式进行自定义;可以调用官方Scheduler或是自定义的方式实现动态学习率;模型微调则需先读取含参数的预训练模型,然后锁定参数,随后更改输出层,来实现微调训练;半精度训练主要通过autocast配置. 目录前情回顾小结1 自定义损失函数1.1 以
转载
2023-11-03 15:55:30
211阅读
在PyTorch中进行二分类，有三种主要的全连接层，激活函数和loss function组合的方法，分别是：torch.nn.Linear+torch.sigmoid+torch.nn.BCELoss，torch.nn.Linear+BCEWithLogitsLoss，和torch.nn.Linear（输出维度为2）+torch.nn.CrossEntropyLoss，BCEWithLogitsL
转载
2023-10-07 19:48:40
338阅读
文章目录Pytorch 多卡训练一、多卡训练原理二、单机多卡训练三、多机多卡训练后端初始化初始化init_method初始化rank和world_size四、模型保存参考链接 Pytorch 多卡训练一、多卡训练原理多卡训练流程一般如下：指定主机节点主机节点划分数据，一个batch数据平均分到每个机器上模型从主机拷贝到各个机器每个机器进行前向传播每个机器计算loss损失主机收集所有loss结果，
转载
2023-08-05 18:30:12
372阅读
PyTorch模型训练1. 自定义损失函数PyTorch在torch.nn模块为我们提供了许多常用的损失函数，比如：MSELoss，L1Loss，BCELoss… 但是随着深度学习的发展，出现了越来越多的非官方提供的Loss，比如DiceLoss，HuberLoss，SobolevLoss… 这些Loss Function专门针对一些非通用的模型，PyTorch不能将他们全部添加到库中去，因此这些
转载
2023-09-27 16:46:17
163阅读
数据集这个数据是来自Kaggle上的一个验证码识别例子，作者采用的是迁移学习，基于ResNet18做到的训练。https://www.kaggle.com/anjalichoudhary12/captcha-with-pytorch这个数据集总计有1070张验证码图像，我把其中的1040张用作训练，30张作为测试，使用pytorch自定义了一个数据集类，代码如下：1import torch
2i
转载
2024-04-02 22:48:49
192阅读
摘要在目标检测中loss的定义也是相当重要的一部分，SSD的loss定义是比较基础的，学习基础之后在去学restinanet的loss定义就轻松很多，定义loss是为了训练，让计算机知道自己的预测和真实标签的差距，通过不断的修改权重来达到loss值的缩小，就是预测准确度的提升。SSD的loss定义class MultiBoxLoss(nn.Module):
def __init__(s
转载
2023-06-08 16:38:33
291阅读
先来介绍几个比较重要的函数1. torch.nn.CrossEntropyLoss()函数交叉熵损失函数，在pytorch中若模型使用CrossEntropyLoss这个loss函数，则不应该在最后一层再使用softmax进行激活，因为CrossEntropyLoss函数包括了softmax和计算交叉熵两个过程。分析实例： pytorch 计算 CrossEntropyLoss 需要先经 sof
转载
2024-04-07 17:57:15
73阅读
6.1 自定义损失函数PyTorch在torch.nn模块为我们提供了许多常用的损失函数，比如：MSELoss，L1Loss，BCELoss… 但是随着深度学习的发展，出现了越来越多的非官方提供的Loss，比如DiceLoss，HuberLoss，SobolevLoss… 这些Loss Function专门针对一些非通用的模型，PyTorch不能将他们全部添加到库中去，因此这些损失函数
转载
2024-03-11 13:21:32
323阅读
文章目录前言一、自定义损失函数6.1.1 以函数方式定义6.1.2 以类方式定义二、动态调整学习率6.2.1 使用官方scheduler6.2.2 自定义scheduler三、模型微调6.3.1 模型微调的流程6.3.2 使用已有模型结构6.3.3 训练特定层四、半精度训练6.4.1 半精度训练的设置总结参考资料 前言本篇内容主要是有关PyTorch进阶训练技巧方面的内容，其中包括了自定义损失函
转载
2023-09-04 14:09:44
408阅读
# PyTorch 多任务多个 Loss 的并行训练
在深度学习中，许多实际问题往往涉及多个任务的同时训练。对于这种情况，PyTorch 提供了灵活的 API 可以轻松实现多任务学习，特别是当每个任务有不同的损失函数时。本文将介绍如何在 PyTorch 中实现多任务的并行训练，并通过具体的代码示例给出相关指导。
## 什么是多任务学习？
多任务学习是一种机器学习方法，旨在同时训练多个相关任务
原创
2024-09-05 04:08:45
536阅读
一、训练背景模型采用简单的四层linear以及Relu、Sigmoid，实现二分类问题loss采用的是交叉熵和Focal loss(测试Focal loss性能)优化方式采用的是Adam+StepLR二、LOSS不变的原因1. 背景：训练集和测试集的loss都不变了或者训练集的loss完全不变(是严格的不变了)2.loss不变的处理办法1. 首先参考网上的策略-1. 数据本身的问题：可以尝试使用其
转载
2023-11-18 15:21:20
135阅读
当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一般分为三种，即：训练集上loss不下降，验证集上loss不下降，和测试集上loss不下降。这里，首先默认各位都能理解过拟合和欠拟合的概念。训练集loss不下降 训练集
转载
2023-09-26 15:08:14
251阅读
pytorch当中及机器学习中常用的18种损失函数总结1.CrossEntropyLoss 交叉熵损失函数loss_f = nn.CrossEntropyLoss(weight=None, reduction='none')功能：nn.LogSoftmax()与nn.NLLLoss()结合，进行交叉熵计算主要参数： weight=None ：各类别loss设置权值 ignore_index=-10
转载
2023-10-31 15:26:48
665阅读
# PyTorch 中的多个 Loss 函数
在深度学习模型的训练过程中，损失函数（Loss Function）是评估模型预测误差的重要指标。大多数情况下，我们会使用单一的损失函数来训练模型，但在一些复杂的应用场景中，可能需要组合多个损失函数。本文将介绍如何在 PyTorch 中使用多个损失函数进行模型训练，并通过代码示例详细讲解。
## 1. 多个损失函数的应用场景
在实际应用中，多个损失
PyTorch Week 3——Optimizer前言一、优化器二、class Optimizer1. __init__定义2. def 方法3. 代码实现1.查看基本属性defaultsparam_groups2 方法optimizer.step()更新参数optimizer.zero_grad()参数梯度归零optimizer.add_param_group()添加新的参数组optimize
转载
2024-10-12 09:10:33
69阅读
NMT(Neural Machine Translation)基于神经网络的机器翻译模型效果越来越好，还记得大学时代Google翻译效果还是差强人意，近些年来使用NMT后已基本能满足非特殊需求了。目前NMT的主流模型是采用Seq2Seq + Attention架构，本文基于PyTorch实现一个小型的英文到中文的翻译系统。1、数据集训练数据为14K左右的中英平行语料，及dev、test数据集。已经
转载
2023-11-24 00:27:41
69阅读
在上一篇文章 中，我们自己手动实现了对于softmax操作和交叉熵的计算，可其实这些在Pytorch框架中已经被实现了，我们直接拿来使用即可。但是，为了能够对这些内容有着更深刻的理解，通常我们都会自己手动实现一次，然后在今后的使用中就可以直接拿现成的来用了。在接下来这篇文章中，笔者将首先介绍如何调用Pytorch中的交叉熵损失函数，然后再同时借助nn.Linear()来实现一个简洁版的
转载
2023-11-25 12:27:11
156阅读
文章目录1 Loss 介绍2 常见 LossL1 lossL2 lossNegative Log-Likelihood（NLL）Binary Cross-EntropyCross-EntropyHinge EmbeddingMargin Ranking LossTriplet Margin LossKL Divergence Loss3 Loss 设计4 softmax 及其变体5 Loss 异
转载
2024-03-11 12:11:44
205阅读
