wx5ba0c87f1984b的博客_Pytorch

load_state_dict(state_dict, strict=True)

load_state_dict(state_dict, strict=True)[source]Copies parameters and buffers from state_dict into this module and its descendants. If strict is True, then the keys of state_dict must exactly match ...

JAVA

原创 2021-08-13 09:53:43 1108 阅读

用nn.DataParallel重新包装一下

数据并行有三种情况前向过程device_ids=[0, 1, 2]model = model.cuda(device_ids[0])model = nn.DataParallel(model, device_ids=device_ids)只要将model重新包装一下就可以。后向过程optimizer = optim.SGD(model.parameters(), lr...

数据

2d

反向传播

JAVA

原创 2021-08-13 09:53:25 342 阅读

如何使用特定显卡跑pyTorch

如何使用特定显卡跑pyTorch。方法一：改变系统变量使得仅目标显卡可见：export CUDA_VISIBLE_DEVICES=0 #这里是要使用的GPU编号，正常的话是从0开始然后再运行pyTorch即可。方法二：使用torch.cuda接口：#在生成网络对象之前：torch.cuda.set_device(0)方法三：使用多pytorch的并行GPU接口：net ...

初始化

系统变量

JAVA

原创 2021-08-13 09:44:58 540 阅读

经典LSTM

循环神经网络（Recurrent Neural Networks）人对一个问题的思考不会完全从头开始。比如你在阅读本片文章的时，你会根据之前理解过的信息来理解下面看到的文字。在理解当前文字的时候，你并不会忘记之前看过的文字，从头思考当前文字的含义。传统的神经网络并不能做到这一点，这是在对这种序列信息（如语音）进行预测时的一个缺点。比如你想对电影中的每个片段去做事件分类，传统的神经网络是很难通

神经网络

语言模型

循环神经网络

数据

网络层

转载 2021-08-13 09:44:01 235 阅读

BCELoss和BCEWithLogitsLoss

BCELoss：计算target和output间的二值交叉熵(Binary Cross Entropy)。BCEWithLogitsLoss该loss层包括了Sigmoid层和BCELoss层.单类别任务。数值计算稳定性更好(log-sum-exp trik),相比于Sigmoid +BCELoss。...

git

标量

权值

权重

JAVA

原创 2021-08-13 09:43:35 739 阅读

reshape(-1)的含义

新数组的shape属性应该要与原来数组的一致，即新数组元素数量与原数组元素数量要相等。一个参数为-1时，那么reshape函数会根据另一个参数的维度计算出数组的另外一个shape属性值。下面来举几个例子来理解一下：>>> z = np.array([[1, 2, 3, 4],[5, 6, 7, 8],[9, 10, 11, 12],[13, 14, 15, 16]])&...

数组

数组元素

属性值

JAVA

原创 2021-08-13 09:43:32 580 阅读

nn.ReLU(inplace=True)中inplace的作用

在文档中解释是：参数： inplace-选择是否进行覆盖运算意思是是否将得到的值计算得到的值覆盖之前的值，比如：x = x +1即对原值进行操作，然后将得到的值又直接复制到该值中而不是覆盖运算的例子如：y = x + 1x = y这样就需要花费内存去多存储一个变量y，所以nn.Conv2d(3, 64, kernel_size=11, stride=4, pad...

2d

ide

JAVA

原创 2021-08-13 09:43:23 530 阅读

PyTorch中view的用法

相当于numpy中resize（）的功能，但是用法可能不太一样。我的理解是：把原先tensor中的数据按照行优先的顺序排成一个一维的数据（这里应该是因为要求地址是连续存储的），然后按照参数组合成其他维度的tensor。比如说是不管你原先的数据是[[[1,2,3],[4,5,6]]]还是[1,2,3,4,5,6]，因为它们排成一维向量都是6个元素，所以只要view后面的参数一致，得到的结果都...

数据

数组

JAVA

原创 2021-08-13 09:43:20 434 阅读

PyTorch权值初始化的十种方法

pytorch在torch.nn.init中提供了常用的初始化方法函数，这里简单介绍，方便查询使用。介绍分两部分：1. Xavier，kaiming系列；2. 其他方法分布Xavier初始化方法，论文在《Understanding the difficulty of training deep feedforward neural networks》公式推导是从“方差一致性”出...

初始化

正态分布

均匀分布

初始化方法

方差

原创 2021-08-13 09:43:18 373 阅读

nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization

1. 均匀分布torch.nn.init.uniform_(tensor, a=0, b=1)服从~U(a,b)U(a,b)2. 正太分布torch.nn.init.normal_(tensor, mean=0, std=1)服从~N(mean,std)N(mean,std)3. 初始化为常数torch.nn.init.constant_(tensor, val)...

方差

初始化

激活函数

均匀分布

反向传播

原创 2021-08-13 09:43:16 273 阅读

classmethod修饰符、staticmethod和装饰器有什么区别

一般创建类（里面包含N个方法）后，需要使用里面的方法实现某种特定功能，需要实例化类，然后再通过实例后的类访问它里面的方法，例如：class test_classmethod(object): def printd(self,a ,b): c = a+b print (c)if __name__ == '__main__': c =test_classmethod() c.printd(3,5)这时运行后的结果是：8，如果不想做实例化这一步

实例化

不执行

静态方法

修饰符

调用方法

原创 2021-08-13 09:42:36 49 阅读

叶子节点和tensor的requires_grad参数

无论如何定义计算过程、如何定义计算图，要谨记我们的核心目的是为了计算某些tensor的梯度。在pytorch的计算图中，其实只有两种元素：数据（tensor）和运算，运算就是加减乘除、开方、幂指对、三角函数等可求导运算，而tensor可细分为两类：叶子节点(leaf node)和非叶子节点。使用backward()函数反向传播计算tensor的梯度时，并不计算所有tensor的梯度，而是只计算满足这几个条件的tensor的梯度：1.类型为叶子节点、2.requires_grad=True、3.依赖该tens

子节点

反向传播

神经网络

权值

数据

原创 2021-08-13 09:42:30 357 阅读

state_dict详解

在pytorch中，torch.nn.Module模块中的state_dict变量存放训练过程中需要学习的权重和偏执系数，state_dict作为python的字典对象将每一层的参数映射成tensor张量，需要注意的是torch.nn.Module模块中的state_dict只包含卷积层和全连接层的参数，当网络中存在batchnorm时，例如vgg网络结构，torch.nn.Module模块中的state_dict也会存放batchnorm's running_mean。torch.optim模块中的O

2d

python

权重

卷积

#define

原创 2021-08-13 09:42:11 44 阅读

state_dict

torch.nn.Module.state_dict (Python method, in Module)state_dict(destination=None, prefix='', keep_vars=False)[source]返回一个包含整个模型状态的字典。包含参数和现在的缓冲器(例如，运行平均值)。键对应着参数和缓冲器的名字。返回值：包含整个模型的字典。a dictionary containing a whole state of the module例：>&g

python

数组

缓冲器

加载

JAVA

原创 2021-08-13 09:42:07 102 阅读

nn.parameter

class torch.nn.parameter.Parameter[source]作为一种模型参数的张量。参数是张量的子类，在与模块s一起使用时具有一个非常特殊的特性——当它们被指定为模块属性时，它们会自动添加到参数列表中，并且会出现，例如在parameters()迭代器中。分配一个张量就没有这样的效果。这是因为人们可能想要在模型中缓存一些临时状态，比如RNN的最后一个隐藏状态。如果没有像Parameter的类，这些临时变量也要注册。参数： data (Tensor) – 参数张量

迭代器

缓存

子类

JAVA

原创 2021-08-13 09:42:06 207 阅读

可变学习率

from bisect import bisect_rightimport torch# FIXME ideally this would be achieved with a CombinedLRScheduler,# separating MultiStepLR with WarmupLR# but the current LRScheduler design doesn't allow itclass WarmupMultiStepLR(torch.optim.lr_schedule.

ide

JAVA

原创 2021-08-13 09:40:17 134 阅读

PyTorch中的model.zero_grad()和optimizer.zero_grad()

model.zero_grad()optimizer.zero_grad()首先，这两种方式都是把模型中参数的梯度设为0当optimizer = optim.Optimizer(net.parameters())时，二者等效，其中Optimizer可以是Adam、SGD等优化器def zero_grad(self): """Sets gradients of all model parameters to zero.""" for p in self.par.

JAVA

原创 2021-08-13 09:40:14 627 阅读

param.requires_grad = False的作用

param.requires_grad = False的作用是:屏蔽预训练模型的权重。只训练最后一层的全连接的权重。最后一层的添加，是通过[2]中的一句代码：model_conv.fc = nn.Linear(num_ftrs, 2)可以发现，冻结预训练模型的权重后，验证精度会下降。...

权重

全连接

JAVA

原创 2021-08-13 09:40:12 1631 阅读

optimizer.step()和scheduler.step()

optimizer.step()和scheduler.step()的区别optimizer.step()通常用在每个mini-batch之中，而scheduler.step()通常用在epoch里面,但是不绝对，可以根据具体的需求来做。只有用了optimizer.step()，模型才会更新，而scheduler.step()是对lr进行调整。通常我们有optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum = 0.9)sched

迭代

JAVA

原创 2021-08-13 09:40:11 801 阅读

MSELoss损失函数

　　MSELoss损失函数中文名字就是：均方损失函数，公式如下所示：这里 loss, x, y 的维度是一样的，可以是向量或者矩阵，i 是下标。很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。因为一般损失函数都是直接计算 batch 的数据，因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。一般的使用格式如下所示：loss_fn = torch.nn.MSELoss(reduce=True, size_average

损失函数

python

标量

数据

JAVA

原创 2021-08-13 09:40:04 1258 阅读

AttributeError: module ‘xml‘ has no attribute ‘dom‘

在开头加上：from xml.dom import minidom

xml

Python

原创 2021-08-13 09:39:17 1541 阅读

optimizer.zero_grad()

# zero the parameter gradientsoptimizer.zero_grad()# forward + backward + optimizeoutputs = net(inputs)loss = criterion(outputs, labels)loss.backward()optimizer.step()optimizer.zero_grad()意思是把梯度置零，也就是把loss关于weight的导数变成0....

Python

原创 2021-08-13 09:39:10 305 阅读

Variable变量

Variable和Tensor本质上没有区别，不过Variable会被放入一个计算图中，然后进行前向传播，反向传播，自动求导。首先Variable是在torch.autograd.Variable中，要将一个tensor变成Variable也非常简单，比如想让一个tensor a变成Variable，只需要Variable(a)就可以了。Variable有三个比较重要的组成属性：data、grad和grad_fn。通过data可以取出Variable里面的tensor数值，grad_fn表示的是得到这个Va

反向传播

标量

矩阵求导

Python

原创 2021-08-13 09:39:01 481 阅读

变量类型(cpu/gpu)

前言PyTorch中的数据类型为Tensor，Tensor与Numpy中的ndarray类似，同样可以用于标量，向量，矩阵乃至更高维度上面的计算。PyTorch中的tensor又包括CPU上的数据类型和GPU上的数据类型，一般GPU上的Tensor是CPU上的Tensor加cuda()函数得到。通过使用Type函数可以查看变量类型。系统默认的torch.Tensor是torch.FloatTensor类型。例如data = torch.Tensor(2,3)是一个2*3的张量，类型为FloatTenso

数据类型

浮点

基本类型

double类型

标量

原创 2021-08-13 09:38:12 281 阅读

optimizer.zero_grad()

传统的训练函数，一个batch是这么训练的：for i,(images,target) in enumerate(train_loader): # 1. input output images = images.cuda(non_blocking=True) target = torch.from_numpy(np.array(target)).float().cuda(non_blocking=True) outputs = model(images) los

反向传播

数据

损失函数

方差

JAVA

原创 2021-08-13 09:36:59 176 阅读

梯度消失和梯度爆炸原因及其解决方案

当我们需要解决一个非常复杂的问题，例如在高分辨率图像中检测数百种类型的对象，我们可能需要训练一个非常深的DNN，可能需要几十层或者上百层，每层包含数百个神经元，通过成千上万个连接进行连接，我们会遇到以下问题：首先，梯度消失或梯度爆炸其次，训练缓慢第三，训练参数大于训练集的风险梯度消失的原因：生物神经元似乎是用 Sigmoid（S 型）激活函数活动的，因此研究人员在很长一段时间内坚持 Sigmoid 函数。但事实证明，Relu 激活函数通常在 ANN 工作得更好。这是生物研究误导的例子之一

初始化

神经网络

权重

激活函数

反向传播

原创 2021-08-13 09:36:57 607 阅读

PyTorch教程之Autograd

在PyTorch中，autograd是所有神经网络的核心内容，为Tensor所有操作提供自动求导方法。它是一个按运行方式定义的框架，这意味着backprop是由代码的运行方式定义的。一、Variableautograd.Variable 是autograd中最核心的类。它包装了一个Tensor，并且几乎支持所有在其上定义的操作。一旦完成了你的运算，你可以调用 .backward()...

运行方式

标量

数据

神经网络

用户创建

原创 2021-08-13 09:35:11 140 阅读

详解PyTorch中的ModuleList和Sequential的区别

目录一、官方文档CLASS torch.nn.ModuleList(modules=None)二、nn.Sequential与nn.ModuleList简介1、nn.Sequential2、nn.ModuleList三、nn.Sequential与nn.ModuleList的区别不同点1：不同点2：不同点3：不同点4：一、官方文档首先看官方文档的解释...

2d

ide

python

for循环

sed

原创 2021-08-13 09:35:10 353 阅读

.new_zero()

next(self.parameters()).new_zeros(4，100)：按照自己的意愿创建一个变量，但是您需要在这种情况下指定数据类型。通过new，我们构造了一个数据类型相同的新张量(作为第一个参数)。...

数据类型

其他

原创 2021-08-13 09:35:05 82 阅读

new_tensor(data, dtype=None, device=None, requires_grad=False) → Tensor

new_tensor(data, dtype=None, device=None, requires_grad=False) → TensorReturns a new Tensor with data as the tensor data. By default, the returned Tensor has the same torch.dtype and torch.device as...

sed

其他

原创 2021-08-13 09:35:04 202 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

wx5ba0c87f1984b的博客