说在前面：这部分分两块，一个是基于cost function的，也就是全数据集上的代价函数，另一个是从中随机抽取一个数据，基于loss function的，也就是损失函数，二者在forward、loss的函数构建、训练过程中的数据加载环节都有所区别，要注意区分，搞清搞透； 详细过程： 本课程的主要任务是构建第一个带有初始权重和训练过程的梯度下降模型： 导入numpy和matplotlib库； 导入
转载
2024-08-20 18:10:33
109阅读
创建tensortorch.empty(),未初始化的Tensor torch.rand(),随机初始化的Tensor(均匀分布) torch.randn(),标准分布 torch.normal(),正态分布 torch.uniform(),均匀分布 torch.randperm(),随机排列 torch.zeros(),全零的Tensor torch.ones(),全一的Tensor torch
转载
2023-09-24 10:53:21
186阅读
# 如何在PyTorch中取消模型的梯度
在深度学习中，梯度是优化模型参数的基础，而有时候我们需要取消模型的梯度计算。这对一些场景非常有用，例如在模型的验证阶段，或者当我们想要冻结某些层以避免更新参数时。本文将详细介绍在PyTorch中如何取消模型的梯度，适合刚入行的小白。
## 1. 整体流程图
以下是取消模型梯度的基本流程概述：
| 步骤 | 描述 |
| ---- | ---- |
1. torch.no_grad(1) 用法with torch.no_grad(): 具体操作(2) 说明上例的“具体操作”中均不更新梯度，这样可以节约计算时间和内存
原创
2022-09-16 13:44:23
846阅读
1. model.train()有什么用？如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()，在测试时添加model.eval()。其中model.train()是保证BN层用每一批数据的均值和方差，而model.eval()是保证BN用全部训练数据的均值和方差；而对于Dropout，model.train()是随机取一部分网络
转载
2023-12-12 15:22:22
103阅读
一、梯度介绍 梯度是一个向量，是学习（参数更新的方向）。收集数据，构建机器学习模型，得到 判断模型好坏的方法：（回归损失）（分类损失） 通过调整参数，尽可能降低 &nb
转载
2023-08-21 11:18:16
424阅读
上篇博客已经说到，torch对梯度求导，仅保留叶子节点的梯度。这里使用FGSM进行说明。
FGSM的公式为： 对损失函数进行反传，得到原图x的梯度方向，在梯度方向上添加定长的扰动。结果为： 这里打印了x梯度及其方向的[0,0,0,0:10]。但这里存在的一个问题是，我们仅能获得原图x的梯度，原图x为叶子结点。之后原图x送入网络，中间任何层的输出，均不是叶子结点，直至最后通过全连接输出结果(叶子节点
转载
2023-10-10 15:51:53
180阅读
1. 笔者的一些经验笔者血泪史中最重要的一点：网络输出到求loss之间的操作，尽可能简洁如果NN的输出直接和label可以进行对比，那是最好的情况，比如输出是猫还是狗这种tag如果不能直接进行对比，则应该尽可能简洁，同时注意以下问题：1. 1 尽可能注意避免原地操作：原地操作无法溯源，backward的时候找不到之前的值了
能用torch.squeeze(x)，不用x.squeeze_()
转载
2023-10-31 21:50:18
167阅读
PyTorch中的梯度累加使用PyTorch实现梯度累加变相扩大batch这种模式可以让梯度玩出更多花样，比如说梯度累加（gradient accumulation）传统的训练函数，一个batch是这么训练的：for i,(images,target) in enumerate(train_loader):
# 1. input output
images = images.cud
转载
2023-08-08 10:52:27
124阅读
在推理引擎架构中，API 接口下来就是模型转换，狭义的模型转换是指将各种框架的模型转换为统一的格式，即模型格式转换；广义的模型转换则还包括图优化部分，因为不同的框架提供的算子不同，且类型太多，存在优化空间。 一、广义模型转换的挑战1.1 格式转换的挑战AI 框架算子的统一。AI 模型本身包含众多算子，特点是它们的重合度高但不完全相同，而推理引擎需要用有限的算子去实现不同框架的算子。支持不同框架
# PyTorch 不计算某个模型梯度的详细教程
在深度学习中，有时我们不希望对某些模型参数计算梯度。比如在迁移学习中，只希望微调特定层的参数，而将其他层的梯度冻结。本文将详细阐述如何在 PyTorch 中实现这一目标。
## 流程概述
下面是针对不计算某个模型梯度的流程图，这个流程可以概括为以下几步：
| 步骤 | 描述
文章目录前言1 概念2 Tensor3 梯度 前言在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。本节将介绍如何使用autograd包来进行自动求梯度的有关操作。1 概念Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的
转载
2023-08-10 21:51:16
136阅读
前言本篇笔记以介绍 pytorch 中的 autograd 模块功能为主，主要涉及 torch/autograd 下代码，不涉及底层的 C++ 实现。本文涉及的源码以 PyTorch 1.7 为准。torch.autograd.function （函数的反向传播）torch.autograd.functional （计算图的反向传播）torch.autograd.gradcheck （数值梯度检查
转载
2024-06-21 09:34:30
58阅读
1.梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为L的多层感知机的第l层H(l)的权重参数为W(l)，输出层H(L)的权重参数为W(L)。为了便于讨论，不考虑偏差参数，且设所有隐藏层的激活函数为恒等映射（identity mapping）ϕ(x)=x。给定输入X，多层感知机
转载
2023-12-24 21:34:43
118阅读
PyTorch学习（二）前言一、autograd自动求梯度二、使用步骤1.示例一2.示例二 前言torch.autograd是 PyTorch 的自动差分引擎，可为神经网络训练提供支持。神经网络就是寻求一个拟合函数，但是因为参数过多，所以不得不借助每一点的梯度来一点一点的接近最佳的loss值，PyTorch 拥有动态的计算图，存储记忆对向量的每一个函数操作，最后通过反向传播来计算梯度，这可以说是
转载
2023-08-27 22:56:45
173阅读
1. TensorFlow中的模型首先，我们先来理解一下TensorFlow里面的持久化模型是什么。从TensorFlow 0.11版本（含）起，我们持久化保存训练模型后，在模型保存目录中一般会出现下面四个文件：.meta文件：保存了网络（模型）的计算图，包括所有的变量（variables）、操作（operations）、集合（collections）等信息.data-00000-of-00001
转载
2024-02-26 20:49:38
92阅读
2023.04.02（一）优化器同样是在pytorch官网找到优化器（optim），查看官方文档。下面以 optim = torch.optim.SGD(nerualnetwork.parameters(), lr=0.01) 为例 optim = torch.optim.SGD(nerualnetwork.parameters(), lr=0.01)
for epoch in range(20
转载
2023-11-09 06:55:18
221阅读
梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸考虑到环境因素的其他问题Kaggle房价预测 梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为的多层感知机的第层的权重参数为，输出层的权重参数为。为了便于讨论，不考虑偏差参数，且设所有隐藏层的激活函数为恒等
在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。本节将介绍如何使用autograd包来进行自动求梯度的有关操作。概念上一节介绍的Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作（这样就可以利用链式法则进行梯度传播
转载
2023-08-10 15:00:02
575阅读
本文作者：Allen 在该系列的上一篇，我们介绍了使用Pytorch的重要知识点：计算图和自动求导。本篇我们继续学习计算图和自动求导。首先，我们在上一节的计算图上增加复杂度，例如变成这样的计算图：图中为了绘制方便，把张量w和x绘制在一个框中了。其对应的计算图代码如下：import torchw = torch.tensor([1.],requires_grad=True)x = t
转载
2023-12-11 22:31:15
72阅读
