这里写目录标题python类pytorch类取模型训练过程的参数transforms.ToTensor()numpy中float和tensorfloat是有区别的C语言中文件路径问题numpy中一维数组的转置问题pytorch训练时循环的写法问题 python类pytorch类取模型训练过程的参数temp=[]
for para in model.parameters():
转载
2024-03-14 17:59:45
75阅读
# PyTorch 中设置网络层参数不更新的技巧
在深度学习模型的训练过程中，通常需要不断调整网络层的参数。然而，在某些情况下，我们可能希望某些层的参数保持不变，特别是在进行迁移学习或者只想微调特定层的时候。本文将介绍如何在 PyTorch 中实现这一点，并提供具体的代码示例与图表展示。
## 概述
在 PyTorch 中，每个神经网络层的参数都是可以被更新的，通常通过优化器（如 SGD、A
python代码 for i, para in enumerate(self._net.module.features.parameters()): if i < 16: para.requires_grad = False else: para.requires_...
原创
2021-09-07 11:02:21
799阅读
1. PyTorch 预训练模型Pytorch 提供了许多 Pre-Trained Model on ImageNet，仅需调用 torchvision.models 即可，具体细节可查看官方文档。往往我们需要对 Pre-Trained Model 进行相应的修改，以适应我们的任务。这种情况下，我们可以先输出 Pre-Trained Model 的结构，确定好对哪些层修改，或者添加哪些层，接着，再
转载
2023-08-21 07:33:15
203阅读
Pytorch 作为深度学习届两大扛把子框架之一（另一个是Tensorflow），一直都受着AI炼丹师们的喜爱。这里将简单介绍一下神经网络参数的手动更新和自动更新。首先来说手动更新，可能很多初学者随便打开一本pytorch书或者教程，发现他们的梯度更新方式都大同小异，都是那几句话，但他其中的具体步骤究竟是怎样的，还是有必要了解一下。 一般情况下，神经网络都是有隐藏层的，当然也可以像上图左边那样，只
转载
2023-06-07 16:52:49
974阅读
前面的课程学习了优化器的概念，优化器中有很多超参数如学习率lr，momentum动量、weight_decay系数，这些超参数中最重要的就是学习率。学习率可以直接控制模型参数更新的步伐，此外，在整个模型训练过程中学习率也不是一成不变的，而是可以调整变化的。本节内容就可以分为以下3方面展开，分别是：（1）为什么要调整学习率？（2）Pytorch的六种学习率调整策略；（3）学习率调整总结。为什么要调整
转载
2023-11-01 20:08:09
107阅读
BN层存在的问题: BN层的模型效果取决于Batch_size大小，那么我的实验分别在batch_size=4和batch_size=8的情况下运行的，这些batch_size都无法让BN层真正起到作用，甚至负作用，我个人感觉4的效果比8好这就是个运气问题(下面一段我利用BN层原理对这个运气问题进行了分析)。那么同样为4的batch_size进行若干次实验，是否结果会出现很大的波动？关于这个实验我
转载
2024-02-21 11:48:41
166阅读
概述构建一个toy net，测试不参与运算的变量是否会更新&如何更新，加深对pytorch框架参数更新逻辑的理解。起因实现随机深度策略时，在block内部进行requires_grad=True/False操作会报错 （后面测试知道其实是DataParallel的锅）ref: 1, 2测试代码结论见后# 以下代码中，需要设置或取消对应的代码屏蔽，完成不同的测试内容
class ConvBl
转载
2023-08-18 13:35:59
97阅读
# PyTorch只更新BN层的技巧与应用
在深度学习的模型训练中，Batch Normalization（BN）层被广泛应用，它能够缓解内部协变量偏移，加速模型训练，并有助于提升模型性能。本文将讨论如何在PyTorch中只更新BN层的参数，而不更新其他层的参数。我们将通过代码示例为您展示具体实现，同时提供甘特图和流程图以便于理解。
## 1. Batch Normalization 简介
在优化器中有很多超参数，如学习率、momentum等。其中学习率直接控制参数更新的一个大小，在整个训练当中，学习率也不是一成不变的。为什么要调整学习率？学习率是直接控制更新的步伐，从梯度下降的公式可以看出，参数更新中是学习率乘以一个梯度（更新量），在这里学习率直接控制了参数更新的大小。一般我们在刚开始训练时，学习率会设定比较大，让更新步伐较大，到了后期，学习率LR会下降，让参数更新的步伐变小。py
转载
2024-05-02 11:16:13
304阅读
一直有一个疑问，我们生成一个模型，这个模型的参数传递给了优化器，优化器在优化的时候，模型的参数会有变化，这之间的关联到底是怎样的呢？如果想改变模型的参数，只能通过优化器更新吗？如果在优化器外面更新了，这个时候的参数会在模型中、优化器中同时起作用吗？答案是会的，因为我们传递给优化器的模型参数包括了模型参数的地址，我们在这个地址上进行更改，则全局都会同步产生变化。其实我要解决的一个问题就是，我想在优化
转载
2023-11-28 08:40:18
108阅读
# PyTorch 参数部分更新
在深度学习中，模型的训练往往需要对参数进行频繁的更新。PyTorch是一个广泛使用的深度学习框架，它为我们提供了灵活的方式来更新模型的参数。本文将探讨如何在PyTorch中实现参数的部分更新，并展示相关代码示例来帮助理解。
## 参数部分更新的概念
在深度学习模型中，参数通常指的是神经网络的权重和偏置。在训练过程中，我们通常需要对这些参数进行优化，最常见的方
原创
2024-09-15 06:02:26
52阅读
# PyTorch RNN 参数更新入门指南
## 1. 工作流程
在使用 PyTorch 更新 RNN 的参数时，通常要遵循如下几个步骤。我们将该流程整理成一张表格，方便你理解每一步。
| 步骤 | 描述 | 代码示例 |
|------|------------------|----------------
原创
2024-10-17 11:25:10
92阅读
损失函数损失函数的输入是一个输入的pair: (output, target), 然后计算出一个数值来评估output和target之间的差距大小.
在torch.nn中有若干不同的损失函数可供使用, 比如nn.MSELoss就是通过计算均方差损失来评估输入和目标值之间的差距参数更新--误差反向传播
误差反向传播法是Rumelhart等在1986
转载
2024-06-19 15:19:32
53阅读
在使用 PyTorch 进行卷积神经网络 (CNN) 的开发时，我面临了一个的问题：如何指定卷积层的权重。显然，对于特定的应用场景，可能需要使用预先训练好的权重或根据一些要求手动设置权重。本文将详细记录我解决这个问题的过程，包括业务影响分析、错误现象、根因分析、解决方案、验证测试和预防优化。
### 问题背景
在深度学习项目中，卷积层的权重对模型性能起着至关重要的作用。由于数据的多样性和复杂性
4月25日，PyTorch团队正式发布了0.4.0的release版本。这是在与caffe2合并后的首个稳定版本。其中核心的变化有：Tensor/Variable合并零维张量（标量）
volatile标志的弃用
dtypes,devices和Numpy型Tensor的创建函数写设备无关的代码下面对其中的升级注意的问题进行说明。原文参考：PyTorch 0.4.0 Migration Guide合并
转载
2023-10-23 15:59:08
90阅读
# view() 转换维度
# reshape() 转换维度
# permute() 坐标系变换
# squeeze()/unsqueeze() 降维/升维
# expand() 扩张张量
# narraw() 缩小张量
# resize_() 重设尺寸
# repeat(), unfold() 重复张量
# cat(), stack() 拼接张量 一. tens
转载
2023-08-11 19:35:58
92阅读
背景PyTorch 1.6版本今天发布了，带来的最大更新就是自动混合精度。release说明的标题是：Stable release of automatic mixed precision (AMP). New Beta features include a TensorPipe backend for RPC, memory profiler,and several improvements t
转载
2024-03-01 11:12:07
56阅读
PyTorch入门实战教程笔记（十五）：神经网络与全连接层2全连接层之前我们所写的全连接层，要自己定义w，b 设置梯度标志，需要自己了解操作和计算，需要知道它们的shape等，那么接下来，我们用pytorch自带的nn.Linear操作，来更快捷的进行以上操作。前面说到，使用torch.randn()定义w时，是先ch-out，再ch-in，即torch.randn(200,784，require
转载
2023-09-04 09:13:12
312阅读
此外可以参考PyTorch模型保存。https://zhuanlan.zhihu.com/p/73893187查看模型每层输出详情Keras有一个简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。现在在PyTorch中也可以实现这个功能。使用很简单，如下用法：input_size 是根据你自己的网络模型的输入尺寸进行设置。pytorch-summargithub.com3
转载
2023-07-14 19:27:19
274阅读
