一、随机梯度下降法（sgd） 前面我们介绍了梯度下降法的数学原理，下面我们通过例子来说明一下随机梯度下降法，我们分别从 0 自己实现，以及使用 pytorch 中自带的优化器import numpy as np
import torch
from torchvision.datasets import MNIST # 导入 pytorch 内置的 mnist 数据
转载
2023-10-29 07:38:17
90阅读
一、Dropout原理
1.概述 作用：防止过拟合 方法：训练时，随机停止某些神经元的参数训练2. Dropout工作流程及使用2.1 Dropout具体工作流程 假设我们要训练这样一个神经网络，如图2所示。图2：标准的神经网络输入是x输出是y，正常的流程是：我们首先把x通过网络前向传播，然后把误差反向传播以决定如何更新参数让网络进行学习。使用Dropout之后，过程变成如下：（1）首先随机（临时
转载
2023-07-24 08:11:20
94阅读
optim 的基本使用for do: 1. 计算loss 2. 清空梯度 3. 反传梯度 4. 更新参数optim的完整流程cifiron = nn.MSELoss()
optimiter = torch.optim.SGD(net.parameters(),lr=0.01,momentum=0.9)
for i in range(iters):
out = net(inputs)
转载
2023-11-20 10:31:08
148阅读
在最后一个主题中, 我们训练了Lenet模型和CIFAR数据集。我们发现我们的LeNet模型可以对大多数图像做出正确的预测, 同时我们也发现准确性过高。尽管我们的模型不是训练有素的, 但是它仍然能够预测大多数验证图像。由于增加了深度多样性和训练图像的固有复杂性, CIFAR数据集将更加难以分类。我们与MNIST数据集表现非常出色的LeNet模型现在在准确分类CIFAR数据集方面存在问题。我们目前正
转载
2023-09-03 00:46:57
48阅读
概述构建一个toy net，测试不参与运算的变量是否会更新&如何更新，加深对pytorch框架参数更新逻辑的理解。起因实现随机深度策略时，在block内部进行requires_grad=True/False操作会报错 （后面测试知道其实是DataParallel的锅）ref: 1, 2测试代码结论见后# 以下代码中，需要设置或取消对应的代码屏蔽，完成不同的测试内容
class ConvBl
转载
2023-08-18 13:35:59
94阅读
1. PyTorch 预训练模型Pytorch 提供了许多 Pre-Trained Model on ImageNet，仅需调用 torchvision.models 即可，具体细节可查看官方文档。往往我们需要对 Pre-Trained Model 进行相应的修改，以适应我们的任务。这种情况下，我们可以先输出 Pre-Trained Model 的结构，确定好对哪些层修改，或者添加哪些层，接着，再
转载
2023-08-21 07:33:15
203阅读
# PyTorch参数详解
PyTorch是深度学习领域中极为流行的开源机器学习库之一，其灵活性和高效性使得它适用于学术研究和工业应用。在使用PyTorch构建和训练深度学习模型时，模型的参数是一个关键的概念。本文将带您深入了解PyTorch模型的参数、如何定义和更新这些参数，以及可视化相关流程。
## 什么是PyTorch参数？
在PyTorch中，参数通常指的是模型中的权重（weight
TL; DR; 假设 x 经过一番计算得到 y，那么 y.backward(w) 求的不是 y 对 x 的导数，而是 l = torch.sum(y*w) 对 x 的导数。w 可以视为 y 的各分量的权重，也可以视为遥远的损失函数 l 对 y 的偏导数（这正是函数说明文档的含义）。特别地，若 y 为标量，w 取默认值 1.0，才是按照我们通常理解的那样，求 y 对 x 的导数。 
转载
2023-12-04 21:44:45
84阅读
Pytorch中的自动求导函数backward()所需参数含义 摘要：一个神经网络有N个样本，经过这个网络把N个样本分为M类，那么此时backward参数的维度应该是【N X M】 正常来说backward（）函数是要传入参数的，一直没弄明白backward需要传入的参数具体含义，但是没关系，生命在与折腾，咱们来折腾一下，嘿嘿。 首先，如果ou
转载
2023-07-17 19:10:12
180阅读
一直有一个疑问，我们生成一个模型，这个模型的参数传递给了优化器，优化器在优化的时候，模型的参数会有变化，这之间的关联到底是怎样的呢？如果想改变模型的参数，只能通过优化器更新吗？如果在优化器外面更新了，这个时候的参数会在模型中、优化器中同时起作用吗？答案是会的，因为我们传递给优化器的模型参数包括了模型参数的地址，我们在这个地址上进行更改，则全局都会同步产生变化。其实我要解决的一个问题就是，我想在优化
转载
2023-11-28 08:40:18
108阅读
损失函数损失函数的输入是一个输入的pair: (output, target), 然后计算出一个数值来评估output和target之间的差距大小.
在torch.nn中有若干不同的损失函数可供使用, 比如nn.MSELoss就是通过计算均方差损失来评估输入和目标值之间的差距参数更新--误差反向传播
误差反向传播法是Rumelhart等在1986
转载
2024-06-19 15:19:32
53阅读
1 模型的两种参数在 Pytorch 中一种模型保存和加载的方式如下: #save
torch.save(net.state_dict(),PATH)
#load
model=MyModel(*args,**kwargs)
model.load_state_dict(torch.load(PATH))
model.eval模型保存的是 net.state_dict()net.state
转载
2023-07-04 14:06:37
145阅读
反向传播算法链式法则求偏导反向传播Sigmoid函数举例 反向传播算法，这是深度学习中优化算法的核心，因为所有基于梯度的优化算法都需要计算每个参数的梯度各种优化算法的变式1.梯度下降法2.SGD随机梯度下降法 就是每次使用一批（batch）数据进行梯度的计算，而不是计算全部数据的梯度。 公式是：更新的参数数据=参数数据-学习率*参数梯度 代码如下：def sgd_update(parameters
转载
2023-10-13 13:02:46
102阅读
一、概念Pytorch中优化器的目的：将损失函数计算出的差值Loss减小。 优化过程：优化器计算网络参数的梯度，然后使用一定的算法策略来对参数进行计算，用新的参数来重新进行训练，最终降低Loss。 其中官网提供了13种优化算法，其中主要的有5种：SGD(stochastic gradient descent 随机梯度下降)，Adagrad（自适应梯度算法），Adam（Adaptive Moment
转载
2023-12-04 20:41:41
501阅读
pytorch神经网络训练参数设置pytorch作为现在特别热的深度学习框架，很多小伙伴想入门pytorch框架，训练过程中，训练参数设置尤为重要，下文主要介绍pytorch模型保存及学习率调整。keras相关参数截取我这里先截取一段keras训练参数，供熟练keras框架的学习者参考，便于与pytorch做比对。logging = TensorBoard(log_dir="logs")
red
转载
2023-08-08 10:18:18
247阅读
SGD 此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的具体区别就不细说了。现在的SGD一般都指mini-batch gradient descent。SGD就是每一次迭代计算mini-batch的梯度，然
转载
2023-12-10 14:01:37
0阅读
计算网络模型的计算量FLOPs和参数量parameter之殊途同归参数量方法一：pytorch自带方法，计算模型参数总量参数量方法二： summary的使用：来自于torchinfo第三方库参数量方法三： summary的使用：来自于torchsummary第三方库计算量方法一：thop的使用，输出计算量FLOPs和参数量parameter 在进行论文撰写时，我们通常要通过计算网络模型的计算量
转载
2024-01-23 18:38:52
382阅读
torch
.
nn
：神经网络相关模块。
class torch.nn.Parameter():Variable的一种，常被用与模块参数（module parameter）。
Parameters
是
Variable 的子类。Paramenters
和 Modules 一起使用的时候会有一些特殊的属性，即：当
Paramenters
赋值
转载
2024-02-29 10:38:30
43阅读
为了能够完成各种操作，我们需要某种方法来存储和操作数据。一般来说，我们需要做两件重要的事情：（1）获取数据；（2）在将数据读入计算机后对其进行处理。如果没有某种方法来存储数据，那么获取数据是没有意义的。我们先尝试一下合成数据。首先，我们介绍 ? 维数组，也称为张量（tensor）入门首先，我们导入torch。请注意，虽然它被称为PyTorch，但我们应该导入torch而不是pytorchimpor
转载
2023-08-08 09:37:57
82阅读
起因是看到有的T.Normalize参数是固定的一堆0.5，而有的则是符合函数定义的计算出来的均值标准差而产生的疑惑 文章目录一. 函数功能（快速上手）二. transform.Normalize参数详解及样例三. 常见用法（解释了为何有时参数是固定的0.5） 一. 函数功能（快速上手）T.Normalize(mean, std)输入（channel,height,width）形式的tensor，
转载
2023-08-05 00:30:23
234阅读
