1. PyTorch 预训练模型Pytorch 提供了许多 Pre-Trained Model on ImageNet，仅需调用 torchvision.models 即可，具体细节可查看官方文档。往往我们需要对 Pre-Trained Model 进行相应的修改，以适应我们的任务。这种情况下，我们可以先输出 Pre-Trained Model 的结构，确定好对哪些层修改，或者添加哪些层，接着，再
转载
2023-08-21 07:33:15
203阅读
Pytorch 作为深度学习届两大扛把子框架之一（另一个是Tensorflow），一直都受着AI炼丹师们的喜爱。这里将简单介绍一下神经网络参数的手动更新和自动更新。首先来说手动更新，可能很多初学者随便打开一本pytorch书或者教程，发现他们的梯度更新方式都大同小异，都是那几句话，但他其中的具体步骤究竟是怎样的，还是有必要了解一下。 一般情况下，神经网络都是有隐藏层的，当然也可以像上图左边那样，只
转载
2023-06-07 16:52:49
974阅读
# view() 转换维度
# reshape() 转换维度
# permute() 坐标系变换
# squeeze()/unsqueeze() 降维/升维
# expand() 扩张张量
# narraw() 缩小张量
# resize_() 重设尺寸
# repeat(), unfold() 重复张量
# cat(), stack() 拼接张量 一. tens
转载
2023-08-11 19:35:58
92阅读
4月25日，PyTorch团队正式发布了0.4.0的release版本。这是在与caffe2合并后的首个稳定版本。其中核心的变化有：Tensor/Variable合并零维张量（标量）
volatile标志的弃用
dtypes,devices和Numpy型Tensor的创建函数写设备无关的代码下面对其中的升级注意的问题进行说明。原文参考：PyTorch 0.4.0 Migration Guide合并
转载
2023-10-23 15:59:08
90阅读
在优化器中有很多超参数，如学习率、momentum等。其中学习率直接控制参数更新的一个大小，在整个训练当中，学习率也不是一成不变的。为什么要调整学习率？学习率是直接控制更新的步伐，从梯度下降的公式可以看出，参数更新中是学习率乘以一个梯度（更新量），在这里学习率直接控制了参数更新的大小。一般我们在刚开始训练时，学习率会设定比较大，让更新步伐较大，到了后期，学习率LR会下降，让参数更新的步伐变小。py
转载
2024-05-02 11:16:13
307阅读
1.保存加载自定义模型1.1 保存加载整个模型device = ['cuda:0' if torch.cuda.is_available() else 'cpu'][0]
'''模型保存'''
torch.save(model, 'model.pkl')
'''模型加载'''
model = torch.load('model.pkl', map_location=device)这种方式直接保存加
转载
2024-03-11 12:50:59
196阅读
# PyTorch 手动更新梯度
## 引言
在深度学习中，梯度更新是优化模型参数的关键步骤。PyTorch是一种流行的深度学习框架，它提供了自动求导的功能，可以自动计算梯度并通过优化算法更新参数。然而，有时候我们需要手动更新梯度，特别是在一些特殊的优化算法中。本文将介绍如何在PyTorch中手动更新梯度。
## 手动更新梯度的流程
下面是手动更新梯度的整个流程，可以用表格形式展示：
| 步
原创
2023-10-14 12:12:32
619阅读
前面的课程学习了优化器的概念，优化器中有很多超参数如学习率lr，momentum动量、weight_decay系数，这些超参数中最重要的就是学习率。学习率可以直接控制模型参数更新的步伐，此外，在整个模型训练过程中学习率也不是一成不变的，而是可以调整变化的。本节内容就可以分为以下3方面展开，分别是：（1）为什么要调整学习率？（2）Pytorch的六种学习率调整策略；（3）学习率调整总结。为什么要调整
转载
2023-11-01 20:08:09
107阅读
这里写目录标题python类pytorch类取模型训练过程的参数transforms.ToTensor()numpy中float和tensorfloat是有区别的C语言中文件路径问题numpy中一维数组的转置问题pytorch训练时循环的写法问题 python类pytorch类取模型训练过程的参数temp=[]
for para in model.parameters():
转载
2024-03-14 17:59:45
75阅读
概述构建一个toy net，测试不参与运算的变量是否会更新&如何更新，加深对pytorch框架参数更新逻辑的理解。起因实现随机深度策略时，在block内部进行requires_grad=True/False操作会报错 （后面测试知道其实是DataParallel的锅）ref: 1, 2测试代码结论见后# 以下代码中，需要设置或取消对应的代码屏蔽，完成不同的测试内容
class ConvBl
转载
2023-08-18 13:35:59
97阅读
一直有一个疑问，我们生成一个模型，这个模型的参数传递给了优化器，优化器在优化的时候，模型的参数会有变化，这之间的关联到底是怎样的呢？如果想改变模型的参数，只能通过优化器更新吗？如果在优化器外面更新了，这个时候的参数会在模型中、优化器中同时起作用吗？答案是会的，因为我们传递给优化器的模型参数包括了模型参数的地址，我们在这个地址上进行更改，则全局都会同步产生变化。其实我要解决的一个问题就是，我想在优化
转载
2023-11-28 08:40:18
111阅读
# PyTorch RNN 参数更新入门指南
## 1. 工作流程
在使用 PyTorch 更新 RNN 的参数时，通常要遵循如下几个步骤。我们将该流程整理成一张表格，方便你理解每一步。
| 步骤 | 描述 | 代码示例 |
|------|------------------|----------------
原创
2024-10-17 11:25:10
92阅读
损失函数损失函数的输入是一个输入的pair: (output, target), 然后计算出一个数值来评估output和target之间的差距大小.
在torch.nn中有若干不同的损失函数可供使用, 比如nn.MSELoss就是通过计算均方差损失来评估输入和目标值之间的差距参数更新--误差反向传播
误差反向传播法是Rumelhart等在1986
转载
2024-06-19 15:19:32
53阅读
# PyTorch 参数部分更新
在深度学习中，模型的训练往往需要对参数进行频繁的更新。PyTorch是一个广泛使用的深度学习框架，它为我们提供了灵活的方式来更新模型的参数。本文将探讨如何在PyTorch中实现参数的部分更新，并展示相关代码示例来帮助理解。
## 参数部分更新的概念
在深度学习模型中，参数通常指的是神经网络的权重和偏置。在训练过程中，我们通常需要对这些参数进行优化，最常见的方
原创
2024-09-15 06:02:26
52阅读
文章目录Dropout是什么？有什么用？测试？训练？PyTorch测试 Dropout是什么？有什么用？在我另外一篇解读AlexNet网络的博文中，我提到了Dropout被Alex用来防止模型过拟合：Dropout就是把隐藏层中神经元的输出设置为0，每个神经元被Dropout概率为r（这是个超参数，在这个网络中r=0.5），这些被‘dropout’掉的神经元不会参与前向计算和后向传播。每次输入一次
转载
2023-10-17 08:22:56
67阅读
背景PyTorch 1.6版本今天发布了，带来的最大更新就是自动混合精度。release说明的标题是：Stable release of automatic mixed precision (AMP). New Beta features include a TensorPipe backend for RPC, memory profiler,and several improvements t
转载
2024-03-01 11:12:07
56阅读
简介在进行这部分时，会存在一些疑惑，针对以下疑惑进行解答。问题一：实际上在固定参数的时候，大家会有疑惑，既然使用这种方式固定冻结网络参数是否存在固定的高层网络，但是低层网络的参数不会更新呢？答：实际上固定网络参数只是让需要固定的层的参数不再自己保留梯度，但是梯度值仍会计算，即进行方向传播时仍然会可以进行低层网络参数的更新。required_grad属性只是控制是否保留梯度而已，但仍然会计算该梯度值
转载
2024-03-04 16:25:05
40阅读
1 权重参数的更新（Optimer.step()） ：根据上述计算的梯度值，不断进行权重参数得更新参数优化目的：不断更新权重参数，使得损失值达到最小。 参数优化的方法：权重参数=权重参数-权重参数梯度学习率 损失值计算的方法：给定参数计算损失值； loss = inputw.t() +b – target 的平方例子： 求 y=wx+b的参数，给100个点( x , y )；解法：我们已知(x,y
转载
2024-03-11 12:51:19
51阅读
在深度学习训练过程中，我们时常需要对已有的 PyTorch 模型进行部分参数的更新，以适应新的任务或数据。正是这种灵活性，使得 PyTorch 成为机器学习研究人员和工程师的首选框架。然而，如何高效地更新模型的部分参数，却常常成为一个技术难题。在本博文中，我将详细阐述如何解决“PyTorch 更新 module 部分参数”的问题，以及其过程中的实践和细节。
### 背景定位
在实际的深度学习应
在本文中，我将详细探讨在PyTorch中如何有效地更新模型参数。PyTorch作为深度学习框架，广泛应用于科研和工业界，而其参数更新机制则是影响模型训练效率和效果的关键因素。以下内容将以逻辑清晰的步骤为读者展示详细的内容。
## 背景定位
在深度学习中，参数更新对模型的训练过程至关重要，直接影响到损失函数的收敛速度和最终模型的性能。对于业务来说，优化模型的训练过程可以显著提升算法的预测能力，从
