一、数据初始化1.torch.arange()用来构建一个行向量，参数=元素个数，从0开始的自然数排列，默认float型。一个新定义的张量（tensor）都会存储在主存中，在CPU中计算。 例子：x = torch.arange(12)输出：tensor([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11])2.x.shape获取tensor结构 例子：
转载
2024-04-11 16:12:19
224阅读
# PyTorch 参数部分更新
在深度学习中，模型的训练往往需要对参数进行频繁的更新。PyTorch是一个广泛使用的深度学习框架，它为我们提供了灵活的方式来更新模型的参数。本文将探讨如何在PyTorch中实现参数的部分更新，并展示相关代码示例来帮助理解。
## 参数部分更新的概念
在深度学习模型中，参数通常指的是神经网络的权重和偏置。在训练过程中，我们通常需要对这些参数进行优化，最常见的方
原创
2024-09-15 06:02:26
52阅读
在深度学习训练过程中，我们时常需要对已有的 PyTorch 模型进行部分参数的更新，以适应新的任务或数据。正是这种灵活性，使得 PyTorch 成为机器学习研究人员和工程师的首选框架。然而，如何高效地更新模型的部分参数，却常常成为一个技术难题。在本博文中，我将详细阐述如何解决“PyTorch 更新 module 部分参数”的问题，以及其过程中的实践和细节。
### 背景定位
在实际的深度学习应
# PyTorch只更新部分参数
在深度学习领域，模型参数的更新是非常重要的一环。通常情况下，我们会对整个模型的参数进行更新，以使模型能够更好地拟合训练数据。然而，在某些特定情况下，我们可能只想更新模型的部分参数，而保持其他参数不变。这在迁移学习、模型微调等情况下是非常有用的。
在PyTorch中，我们可以通过设置参数的`requires_grad`属性来控制参数是否需要梯度更新。我们可以将需
原创
2024-04-08 04:15:06
146阅读
# PyTorch 只更新部分参数的技巧
在深度学习模型的训练过程中，通常我们希望能够对整个模型进行优化，但有时我们只希望更新模型的一部分参数，例如：当我们只想微调一个预训练的模型时。PyTorch 提供了灵活的方式来实现这一目标。在本文中，我们将探索如何在 PyTorch 中仅更新部分参数，并提供代码示例以帮助理解。
## 为什么只更新部分参数？
只更新部分参数的主要原因包括：
1. *
原创
2024-09-18 03:59:18
165阅读
介绍在使用预训练模型微调训练时，我们通常需要根据实际的数据集以及想要达到的效果，修改预训练模型的结构。查阅了其他博客和torch.nn源码后，做个笔记。 为了更方便的了解，将使用torchvision中的模型convnext作介绍。一、获取模型参数1、直接print模型import torch
import torchvision.models as models
import torch.nn
转载
2023-09-06 16:44:01
194阅读
ndarray：n-dimensional array object，即多维数组对象，是python自带的array对象的扩展，array对象和list对象的区别是array对象的每一个元素都是数值，而list保存的是每个元素对象的指针，而作为array对象的扩展，ndarray在科学计算中就非常适合并且功能强大。创建ndarray1. 使用列表对象创建ndarrayimport bumpy as
1. PyTorch 预训练模型Pytorch 提供了许多 Pre-Trained Model on ImageNet，仅需调用 torchvision.models 即可，具体细节可查看官方文档。往往我们需要对 Pre-Trained Model 进行相应的修改，以适应我们的任务。这种情况下，我们可以先输出 Pre-Trained Model 的结构，确定好对哪些层修改，或者添加哪些层，接着，再
转载
2023-08-21 07:33:15
203阅读
前言 这篇文章算是论坛PyTorch Forums关于参数初始化和finetune的总结，也是我在写代码中用的算是“最佳实践”吧。最后希望大家没事多逛逛论坛，有很多高质量的回答。参数初始化 参数的初始化其实就是对参数赋值。而我们需要学习的参数其实都是Variable，它其实是对Tensor的封装，同时提供了data，grad等借口，这就意味着我们可以直接对这些参数进行操作赋值了。这就是PyTorc
转载
2024-06-25 04:14:49
223阅读
# 梯度更新如何只更新网络的部分参数（以PyTorch为例）
在深度学习的模型训练过程中，我们常常需要对模型的某部分参数进行更新，而不更新全部参数。这种需求在迁移学习或微调预训练模型时尤为常见。在本篇文章中，我们将探讨如何在PyTorch中实现部分参数更新，并给出一个具体的代码示例。
## 文章结构
1. 引言
2. 原理分析
3. 示例代码
4. 总结与展望
## 1. 引言
在实际的
原创
2024-10-15 07:06:58
227阅读
Pytorch 作为深度学习届两大扛把子框架之一（另一个是Tensorflow），一直都受着AI炼丹师们的喜爱。这里将简单介绍一下神经网络参数的手动更新和自动更新。首先来说手动更新，可能很多初学者随便打开一本pytorch书或者教程，发现他们的梯度更新方式都大同小异，都是那几句话，但他其中的具体步骤究竟是怎样的，还是有必要了解一下。 一般情况下，神经网络都是有隐藏层的，当然也可以像上图左边那样，只
转载
2023-06-07 16:52:49
974阅读
# 在PyTorch中实现Loss回传时冻结部分参数
在机器学习中，特别是在使用框架如PyTorch时，我们经常需要调整模型的参数来改善性能。然而，有时我们希望在训练过程中只更新部分参数，而冻结其余参数。在本篇文章中，我们将讨论如何实现这一点。
## 整体流程
以下是实现冻结参数的基本流程步骤：
| 步骤 | 描述 |
|--
原创
2024-08-13 04:03:51
385阅读
前面的课程学习了优化器的概念，优化器中有很多超参数如学习率lr，momentum动量、weight_decay系数，这些超参数中最重要的就是学习率。学习率可以直接控制模型参数更新的步伐，此外，在整个模型训练过程中学习率也不是一成不变的，而是可以调整变化的。本节内容就可以分为以下3方面展开，分别是：（1）为什么要调整学习率？（2）Pytorch的六种学习率调整策略；（3）学习率调整总结。为什么要调整
转载
2023-11-01 20:08:09
107阅读
假设有一个训练好的模型，并且我们只想微调部分参数。比如，这里我们只想更ptimizer直接训练就行。##...
原创
2023-06-09 14:26:19
574阅读
pytorch 模型参数的保存与加载pytorch 保存与加载模型参数的最主要的三个函数torch.save：将序列化对象保存到磁盘。此函数使用Python的pickle模块进行序列化。使用此函数可以保存如模型、tensor、字典等各种对象。
torch.load：使用pickle的unpickling功能将pickle对象文件反序列化到内存。此功能还可以有助于设备加载数据。torch.nn.Mo
转载
2024-06-10 07:11:38
407阅读
这里写目录标题python类pytorch类取模型训练过程的参数transforms.ToTensor()numpy中float和tensorfloat是有区别的C语言中文件路径问题numpy中一维数组的转置问题pytorch训练时循环的写法问题 python类pytorch类取模型训练过程的参数temp=[]
for para in model.parameters():
转载
2024-03-14 17:59:45
75阅读
（Demo）这是最近两个月来的一个小总结，实现的demo已经上传github，里面包含了CNN、LSTM、BiLSTM、GRU以及CNN与LSTM、BiLSTM的结合还有多层多通道CNN、LSTM、BiLSTM等多个神经网络模型的的实现。这篇文章总结一下最近一段时间遇到的问题、处理方法和相关策略，以及经验（其实并没有什么经验）等，白菜一枚。Demo Site: https://gith
转载
2024-08-12 12:16:52
90阅读
概述构建一个toy net，测试不参与运算的变量是否会更新&如何更新，加深对pytorch框架参数更新逻辑的理解。起因实现随机深度策略时，在block内部进行requires_grad=True/False操作会报错 （后面测试知道其实是DataParallel的锅）ref: 1, 2测试代码结论见后# 以下代码中，需要设置或取消对应的代码屏蔽，完成不同的测试内容
class ConvBl
转载
2023-08-18 13:35:59
97阅读
pytorch是一个非常好用的模型，值得花时间去理解去搞一搞。1 模型保存与使用torch.save：将对象序列化到硬盘上，该对象可以是 Models, tensors和 dictionaries 等。实际上是使用了python的 pickle方法。torch.load：将硬盘上序列化的对象加载设备中。实际是使用了pickle的解包方法。torch.nn.Module.load_state_dic
转载
2023-12-26 16:38:02
379阅读
在优化器中有很多超参数，如学习率、momentum等。其中学习率直接控制参数更新的一个大小，在整个训练当中，学习率也不是一成不变的。为什么要调整学习率？学习率是直接控制更新的步伐，从梯度下降的公式可以看出，参数更新中是学习率乘以一个梯度（更新量），在这里学习率直接控制了参数更新的大小。一般我们在刚开始训练时，学习率会设定比较大，让更新步伐较大，到了后期，学习率LR会下降，让参数更新的步伐变小。py
转载
2024-05-02 11:16:13
313阅读
