探索Dassl.pytorch：一种强大的多任务学习框架 项目简介是由Kaiyang Zhou开发的一个深度适应学习（Deep Adaptation Network, DANN）和领域适应（Domain Adaptation）的PyTorch实现库。这个项目提供了一系列先进的深度学习模型，用于解决在数据分布不匹配情况下的机器学习问题。技术分析Dassl.pytorch的核心是基于深度网络的领域适
转载
2024-10-31 19:11:06
229阅读
1 课程学习2 作业题目题目描述必做题：
（1） 把模型改为resnet18，加载相应的模型权重（Lesson2的物料包中有），跑一下0.jpg和1.jpg，看一下输出结果。官方torchvision训练mobilenet和训练resnet的方式是一样的，所以数据预处理和数据后处理部分完全相同。
（2） 自己找2张其他图，用resnet18做下推理。思考题：
（1） 以ResNet18为
转载
2023-12-15 21:11:10
131阅读
数据集这个数据是来自Kaggle上的一个验证码识别例子，作者采用的是迁移学习，基于ResNet18做到的训练。https://www.kaggle.com/anjalichoudhary12/captcha-with-pytorch这个数据集总计有1070张验证码图像，我把其中的1040张用作训练，30张作为测试，使用pytorch自定义了一个数据集类，代码如下：1import torch
2i
转载
2024-04-02 22:48:49
192阅读
【Deep learning】——一文知torch分类任务的交叉熵Loss（多分类、多标签任务）多分类任务多标签任务 之前对torch的分类Loss还有好些疑惑，这次一网打进不留。文章包含多分类任务loss和多标签任务loss【softmax/NLLloss/CrossEntropyLoss/sigmoid/BCEloss/BCEWithLogitsLoss】参考博客：Pytorch入门笔记（多
转载
2023-09-15 16:36:38
154阅读
# PyTorch 多任务多个 Loss 的并行训练
在深度学习中，许多实际问题往往涉及多个任务的同时训练。对于这种情况，PyTorch 提供了灵活的 API 可以轻松实现多任务学习，特别是当每个任务有不同的损失函数时。本文将介绍如何在 PyTorch 中实现多任务的并行训练，并通过具体的代码示例给出相关指导。
## 什么是多任务学习？
多任务学习是一种机器学习方法，旨在同时训练多个相关任务
原创
2024-09-05 04:08:45
536阅读
又因为这两者计算过程的梯度都是累加的，所以计算结果都是相同的，但是上述的方法在每一时刻中，最多只会生成一张计算图，所以也就减小了
原创
2024-08-07 14:07:02
270阅读
pytorch当中及机器学习中常用的18种损失函数总结1.CrossEntropyLoss 交叉熵损失函数loss_f = nn.CrossEntropyLoss(weight=None, reduction='none')功能：nn.LogSoftmax()与nn.NLLLoss()结合，进行交叉熵计算主要参数： weight=None ：各类别loss设置权值 ignore_index=-10
转载
2023-10-31 15:26:48
665阅读
Pytorch中分类loss总结近期在学习pytorch时，发现分类算法在输出时不写激活层如softmax激活/sigmoid激活。并且pytorch文档中除了softmax激活/sigmoid激活外，还有logsoftmax/logsigmoid。以及torch的loss函数会把激活和损失计算都整合到一起计算，给的解释是为了获得更好的数值稳定性。为了弄清这一切，进行了以下探索。并将自己涉及的相关
转载
2023-07-21 22:23:38
127阅读
最近在做遥感影像分割，涉及到多个类别，建筑、道路、水体、植被、耕地等等。发现各类别之间占比特别不均衡，会影响最终精度，尝试过使用加权交叉熵，权重计算参考《中值频率平衡:图像分割中计算类别权重的方法》，精度有所提升，但是还是不能满足要求，后来就想试试Focal Loss，发现效果提升明显，这里也从头梳理一下Focal Loss。 个人觉的要真正理解Focal Loss，有三个关键点需要清楚，分别对应
转载
2024-06-09 09:58:17
70阅读
文章目录python多任务, 线程和进程1. 概述1.1 同步和异步1.2 操作系统实现多任务:1.3 python实现多任务2.进程和线程2.1 进程2.2 线程2.3 使用场景3. 多线程创建3.1 使用threading 模块创建线程3.2给线程传递参数3.3 使用继承方式创建线程3.4 实例方法3.5 等待线程 join()3.6 守护线程 setDaemon()3.7 threadin
转载
2024-07-31 17:45:11
209阅读
目录pytorch搭建神经网络解决多分类问题softmax损失函数多分类的实现数据的准备构建模型、损失函数及优化器训练及测试部分训练结果 pytorch搭建神经网络解决多分类问题softmax核心：最后一层使用softmax层1.求指数将负值转化为非负值2.分母将所有输出求和（归一化）保证条件如下：损失函数使用负对数似然函数（只有y=1的项才真正被计算，为0不影响结果）：交叉熵损失函数的使用1.
转载
2023-09-16 15:46:11
245阅读
1.背景目前，很多应用中都因为用了多任务取得了不错的效果，那么如何将这些任务的loss有机组合在一起？一种简答粗暴方法就是手动调节多任务之间的loss的相对权重，然后加和，如下： 这种方式把权重作为超参调试的方式，往往耗时耗力。本文参考[1]就如何动态设置多任务（分类与回归）之间的loss的相对权重做简单介绍。2.解决方案在贝叶斯建模中，认为模型有一些不确定性(随机变量)，可能是先验问题导致的，也
调度算法是指：根据系统的资源分配策略所规定的资源分配算法。常见的进程调度算法有： 1.先来先去服务 2.时间片轮转法 3.多级反馈队列算法 4.最短进程优先 5.最短剩余时间优先 6.最高响应比优先 7.多级反馈队列调度算法一、先来先去服务 先来先去服务调度算法是一种最简单的调度算法，也称为先进先出或严格排队方案。当每个进程就绪后，它加入就绪队列。当前正运行的进程停止执行，选择在就
结论速递多任务学习是排序模型的一种发展方式，诞生于多任务的背景。实践表明，多任务联合建模可以有效提升模型效果，因其可以：任务互助；实现隐式数据增强；学到通用表达，提高泛化能力（特别是对于一些数据不足的任务）；正则化（对于一个任务而言，其他任务的学习对该任务有正则化效果）目前的多任务联合建模有三种主要的模型形式：hard parameter sharing；soft parameter sharin
转载
2023-12-12 10:49:00
422阅读
6.1 自定义损失函数6.1.1 以函数方式定义def my_loss(output, target):
loss = torch.mean((output-target)**2)
return loss6.1.2 以类方式定义 每一个损失函数的继承关系我们就可以发现Loss函数部分继承自_loss, 部分继承自_WeightedLoss, 而_WeightedLoss继承自_l
多任务编程(一) 开始任务 任务编程是.net 4.0提供应对平行程序开发的一套框架，该框架的相关类在System.Thread.Task命名空间下.我们将通过一系列文章来介绍该框架的功能和应用开发。1．创建任务创建任务有两种方法：第一种是新建一个task对象，然后调用Start方法执行任务。第二种方法是通过工厂方法直接执行任务项。示例代码: 运行结果：创建任务的时候有四种选项，通过设
目录前言一、损失函数二、详解1.回归损失2.分类损失三. 总结 前言损失函数在深度学习中占据着非常重要的作用，选取的正确与否直接关系到模型的好坏。本文就常用的损失函数做一个通俗易懂的介绍。一、损失函数根据深度函数的模型类型，损失函数可分为三类：1. 回归损失（Regression loss）：预测连续的数值，即输出是连续数据：如预测房价、气温等；2. 分类损失（Classificat
转载
2023-07-11 13:39:17
156阅读
最近这几天忙着开学返校的事情，终于几番周折回到了学校，继续pytorch的学习打卡！！一般来说，监督学习的目标函数由损失函数和正则化项组成。(Objective = Loss + Regularization)Pytorch中的损失函数一般在训练模型时候指定。注意Pytorch中内置的损失函数的参数和tensorflow不同，是y_pred在前，y_true在后，而Tensorflow是y_tru
转载
2023-11-25 10:01:17
210阅读
本次使用minist数据集学习多分类任务minist数据集是多分类常用数据集，经常用作测试模型是否有效。数据集如下： 还得二分类任务时，分类目标是0，1，我们只需计算一种结果得概率就行，但是在多分类任务中，还采用传统方法就有些不合适了。这里我们得要求是使输出满足分布，即单个概率大于0，概率和为1。 softmax函数可以很好地解决这个问题，所以我们要引入softmax函数作为最后一层的激活函数。激
转载
2023-10-06 21:32:52
64阅读
作者 | 歪杠小胀1『记录写这篇文章的初衷』最近在复现一篇论文的训练代码时，发现原论文中的总loss由多个loss组成。如果只有一个loss，那么直接loss.backward()即可，但是这里不止一个。一开始看到不止一个loss时，不知道将backward()放在哪里。for j in range(len(output)):
loss += criterion(output[j
转载
2024-08-12 15:16:08
122阅读
