1 课程学习2 作业题目题目描述必做题：
（1） 把模型改为resnet18，加载相应的模型权重（Lesson2的物料包中有），跑一下0.jpg和1.jpg，看一下输出结果。官方torchvision训练mobilenet和训练resnet的方式是一样的，所以数据预处理和数据后处理部分完全相同。
（2） 自己找2张其他图，用resnet18做下推理。思考题：
（1） 以ResNet18为
转载
2023-12-15 21:11:10
131阅读
数据集这个数据是来自Kaggle上的一个验证码识别例子，作者采用的是迁移学习，基于ResNet18做到的训练。https://www.kaggle.com/anjalichoudhary12/captcha-with-pytorch这个数据集总计有1070张验证码图像，我把其中的1040张用作训练，30张作为测试，使用pytorch自定义了一个数据集类，代码如下：1import torch
2i
转载
2024-04-02 22:48:49
192阅读
探索Dassl.pytorch：一种强大的多任务学习框架 项目简介是由Kaiyang Zhou开发的一个深度适应学习（Deep Adaptation Network, DANN）和领域适应（Domain Adaptation）的PyTorch实现库。这个项目提供了一系列先进的深度学习模型，用于解决在数据分布不匹配情况下的机器学习问题。技术分析Dassl.pytorch的核心是基于深度网络的领域适
转载
2024-10-31 19:11:06
229阅读
【Deep learning】——一文知torch分类任务的交叉熵Loss（多分类、多标签任务）多分类任务多标签任务 之前对torch的分类Loss还有好些疑惑，这次一网打进不留。文章包含多分类任务loss和多标签任务loss【softmax/NLLloss/CrossEntropyLoss/sigmoid/BCEloss/BCEWithLogitsLoss】参考博客：Pytorch入门笔记（多
转载
2023-09-15 16:36:38
154阅读
文章目录python多任务, 线程和进程1. 概述1.1 同步和异步1.2 操作系统实现多任务:1.3 python实现多任务2.进程和线程2.1 进程2.2 线程2.3 使用场景3. 多线程创建3.1 使用threading 模块创建线程3.2给线程传递参数3.3 使用继承方式创建线程3.4 实例方法3.5 等待线程 join()3.6 守护线程 setDaemon()3.7 threadin
转载
2024-07-31 17:45:11
209阅读
# PyTorch 多任务多个 Loss 的并行训练
在深度学习中，许多实际问题往往涉及多个任务的同时训练。对于这种情况，PyTorch 提供了灵活的 API 可以轻松实现多任务学习，特别是当每个任务有不同的损失函数时。本文将介绍如何在 PyTorch 中实现多任务的并行训练，并通过具体的代码示例给出相关指导。
## 什么是多任务学习？
多任务学习是一种机器学习方法，旨在同时训练多个相关任务
原创
2024-09-05 04:08:45
536阅读
调度算法是指：根据系统的资源分配策略所规定的资源分配算法。常见的进程调度算法有： 1.先来先去服务 2.时间片轮转法 3.多级反馈队列算法 4.最短进程优先 5.最短剩余时间优先 6.最高响应比优先 7.多级反馈队列调度算法一、先来先去服务 先来先去服务调度算法是一种最简单的调度算法，也称为先进先出或严格排队方案。当每个进程就绪后，它加入就绪队列。当前正运行的进程停止执行，选择在就
又因为这两者计算过程的梯度都是累加的，所以计算结果都是相同的，但是上述的方法在每一时刻中，最多只会生成一张计算图，所以也就减小了
原创
2024-08-07 14:07:02
270阅读
多任务编程(一) 开始任务 任务编程是.net 4.0提供应对平行程序开发的一套框架，该框架的相关类在System.Thread.Task命名空间下.我们将通过一系列文章来介绍该框架的功能和应用开发。1．创建任务创建任务有两种方法：第一种是新建一个task对象，然后调用Start方法执行任务。第二种方法是通过工厂方法直接执行任务项。示例代码: 运行结果：创建任务的时候有四种选项，通过设
Pytorch中分类loss总结近期在学习pytorch时，发现分类算法在输出时不写激活层如softmax激活/sigmoid激活。并且pytorch文档中除了softmax激活/sigmoid激活外，还有logsoftmax/logsigmoid。以及torch的loss函数会把激活和损失计算都整合到一起计算，给的解释是为了获得更好的数值稳定性。为了弄清这一切，进行了以下探索。并将自己涉及的相关
转载
2023-07-21 22:23:38
127阅读
pytorch当中及机器学习中常用的18种损失函数总结1.CrossEntropyLoss 交叉熵损失函数loss_f = nn.CrossEntropyLoss(weight=None, reduction='none')功能：nn.LogSoftmax()与nn.NLLLoss()结合，进行交叉熵计算主要参数： weight=None ：各类别loss设置权值 ignore_index=-10
转载
2023-10-31 15:26:48
665阅读
最近在做遥感影像分割，涉及到多个类别，建筑、道路、水体、植被、耕地等等。发现各类别之间占比特别不均衡，会影响最终精度，尝试过使用加权交叉熵，权重计算参考《中值频率平衡:图像分割中计算类别权重的方法》，精度有所提升，但是还是不能满足要求，后来就想试试Focal Loss，发现效果提升明显，这里也从头梳理一下Focal Loss。 个人觉的要真正理解Focal Loss，有三个关键点需要清楚，分别对应
转载
2024-06-09 09:58:17
70阅读
一般来说多任务学的模型架构非常简单：一个骨干网络作为特征的提取，然后针对不同的任务创建多个头。利用单一模型解决多个
原创
2024-05-15 11:56:17
153阅读
作者 | 歪杠小胀1『记录写这篇文章的初衷』最近在复现一篇论文的训练代码时，发现原论文中的总loss由多个loss组成。如果只有一个loss，那么直接loss.backward()即可，但是这里不止一个。一开始看到不止一个loss时，不知道将backward()放在哪里。for j in range(len(output)):
loss += criterion(output[j
转载
2024-08-12 15:16:08
122阅读
目录pytorch搭建神经网络解决多分类问题softmax损失函数多分类的实现数据的准备构建模型、损失函数及优化器训练及测试部分训练结果 pytorch搭建神经网络解决多分类问题softmax核心：最后一层使用softmax层1.求指数将负值转化为非负值2.分母将所有输出求和（归一化）保证条件如下：损失函数使用负对数似然函数（只有y=1的项才真正被计算，为0不影响结果）：交叉熵损失函数的使用1.
转载
2023-09-16 15:46:11
245阅读
APScheduler是基于Quartz的 一个Python定时任务框架，实现了Quartz的所有功能，使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务，并且可以 持久化任务。基于这些功能，我们可以很方便的实现一个python定时任务系统，写python还是要比java舒服多了。1. 安装 安装过程很简单
转载
2024-02-20 20:58:16
41阅读
1.背景目前，很多应用中都因为用了多任务取得了不错的效果，那么如何将这些任务的loss有机组合在一起？一种简答粗暴方法就是手动调节多任务之间的loss的相对权重，然后加和，如下： 这种方式把权重作为超参调试的方式，往往耗时耗力。本文参考[1]就如何动态设置多任务（分类与回归）之间的loss的相对权重做简单介绍。2.解决方案在贝叶斯建模中，认为模型有一些不确定性(随机变量)，可能是先验问题导致的，也
超级有用！ 从上图的方程可以看出： 1、loss大则梯度更新量也大； 2、不同任务的loss差异大导致模型更新不平衡的本质原因在于梯度大小； 3、通过调整不同任务的loss权重wi可以改善这个问题； 4、直接对不同任务的梯度进行处理也可以改善这个问题； 所以，后续的方法大体分为两类： 1、在权重wi
转载
2021-04-08 17:35:00
509阅读
2评论
结论速递多任务学习是排序模型的一种发展方式，诞生于多任务的背景。实践表明，多任务联合建模可以有效提升模型效果，因其可以：任务互助；实现隐式数据增强；学到通用表达，提高泛化能力（特别是对于一些数据不足的任务）；正则化（对于一个任务而言，其他任务的学习对该任务有正则化效果）目前的多任务联合建模有三种主要的模型形式：hard parameter sharing；soft parameter sharin
转载
2023-12-12 10:49:00
422阅读
6.1 自定义损失函数6.1.1 以函数方式定义def my_loss(output, target):
loss = torch.mean((output-target)**2)
return loss6.1.2 以类方式定义 每一个损失函数的继承关系我们就可以发现Loss函数部分继承自_loss, 部分继承自_WeightedLoss, 而_WeightedLoss继承自_l
