在推理引擎架构中，API 接口下来就是模型转换，狭义的模型转换是指将各种框架的模型转换为统一的格式，即模型格式转换；广义的模型转换则还包括图优化部分，因为不同的框架提供的算子不同，且类型太多，存在优化空间。 一、广义模型转换的挑战1.1 格式转换的挑战AI 框架算子的统一。AI 模型本身包含众多算子，特点是它们的重合度高但不完全相同，而推理引擎需要用有限的算子去实现不同框架的算子。支持不同框架
创建tensortorch.empty(),未初始化的Tensor torch.rand(),随机初始化的Tensor(均匀分布) torch.randn(),标准分布 torch.normal(),正态分布 torch.uniform(),均匀分布 torch.randperm(),随机排列 torch.zeros(),全零的Tensor torch.ones(),全一的Tensor torch
转载
2023-09-24 10:53:21
186阅读
梯度裁剪（Gradient Clipping）在训练比较深或者循环神经网络模型的过程中，我们有可能发生梯度爆炸的情况，这样会导致我们模型训练无法收敛。 我们可以采取一个简单的策略来避免梯度的爆炸，那就是梯度截断 Clip, 将梯度约束在某一个区间之内，在训练的过程中，在优化器更新之前进行梯度截断操作。!!!!! 注意这个方法只在训练的时候使用，在测试的时候验证和测试的时候不用。整个流程简单总结如下
转载
2023-12-27 14:14:28
134阅读
说在前面：这部分分两块，一个是基于cost function的，也就是全数据集上的代价函数，另一个是从中随机抽取一个数据，基于loss function的，也就是损失函数，二者在forward、loss的函数构建、训练过程中的数据加载环节都有所区别，要注意区分，搞清搞透； 详细过程： 本课程的主要任务是构建第一个带有初始权重和训练过程的梯度下降模型： 导入numpy和matplotlib库； 导入
转载
2024-08-20 18:10:33
109阅读
# 如何在PyTorch中取消模型的梯度
在深度学习中，梯度是优化模型参数的基础，而有时候我们需要取消模型的梯度计算。这对一些场景非常有用，例如在模型的验证阶段，或者当我们想要冻结某些层以避免更新参数时。本文将详细介绍在PyTorch中如何取消模型的梯度，适合刚入行的小白。
## 1. 整体流程图
以下是取消模型梯度的基本流程概述：
| 步骤 | 描述 |
| ---- | ---- |
原创
2024-11-02 05:14:12
178阅读
相信在看到这篇文章之前，你已经看到了各位博主都再说pytorch自定已损失函数很简单，主要通过以下三个手段：继承torch.nn.Module ,重写forward()函数继承torch.nn.autograd.function,重写forward()和backward()函数。输入requires_grad=True，自定义函数。 实质上吧，我觉得这三种方法没什么区别。都会有挺多问题出
转载
2023-11-02 16:05:12
100阅读
# 使用PyTorch重写多个参数的梯度
在深度学习模型中，梯度计算和更新参数是非常重要的过程。PyTorch提供了灵活的方法来计算和修改梯度，使我们能够实现更加复杂的训练策略。本文将介绍如何在PyTorch中重写多个参数的梯度，并配有代码示例。
## 背景知识
在标准的训练过程中，模型参数会根据损失函数的梯度进行更新。我们通常使用`loss.backward()`来计算梯度，然后用优化器（
在上一篇文章 中，我们自己手动实现了对于softmax操作和交叉熵的计算，可其实这些在Pytorch框架中已经被实现了，我们直接拿来使用即可。但是，为了能够对这些内容有着更深刻的理解，通常我们都会自己手动实现一次，然后在今后的使用中就可以直接拿现成的来用了。在接下来这篇文章中，笔者将首先介绍如何调用Pytorch中的交叉熵损失函数，然后再同时借助nn.Linear()来实现一个简洁版的
转载
2023-11-25 12:27:11
156阅读
1. torch.no_grad(1) 用法with torch.no_grad(): 具体操作(2) 说明上例的“具体操作”中均不更新梯度，这样可以节约计算时间和内存
原创
2022-09-16 13:44:23
846阅读
一、梯度介绍 梯度是一个向量，是学习（参数更新的方向）。收集数据，构建机器学习模型，得到 判断模型好坏的方法：（回归损失）（分类损失） 通过调整参数，尽可能降低 &nb
转载
2023-08-21 11:18:16
424阅读
1. model.train()有什么用？如果模型中有BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()，在测试时添加model.eval()。其中model.train()是保证BN层用每一批数据的均值和方差，而model.eval()是保证BN用全部训练数据的均值和方差；而对于Dropout，model.train()是随机取一部分网络
转载
2023-12-12 15:22:22
103阅读
上篇博客已经说到，torch对梯度求导，仅保留叶子节点的梯度。这里使用FGSM进行说明。
FGSM的公式为： 对损失函数进行反传，得到原图x的梯度方向，在梯度方向上添加定长的扰动。结果为： 这里打印了x梯度及其方向的[0,0,0,0:10]。但这里存在的一个问题是，我们仅能获得原图x的梯度，原图x为叶子结点。之后原图x送入网络，中间任何层的输出，均不是叶子结点，直至最后通过全连接输出结果(叶子节点
转载
2023-10-10 15:51:53
180阅读
1. 笔者的一些经验笔者血泪史中最重要的一点：网络输出到求loss之间的操作，尽可能简洁如果NN的输出直接和label可以进行对比，那是最好的情况，比如输出是猫还是狗这种tag如果不能直接进行对比，则应该尽可能简洁，同时注意以下问题：1. 1 尽可能注意避免原地操作：原地操作无法溯源，backward的时候找不到之前的值了
能用torch.squeeze(x)，不用x.squeeze_()
转载
2023-10-31 21:50:18
167阅读
PyTorch中的梯度累加使用PyTorch实现梯度累加变相扩大batch这种模式可以让梯度玩出更多花样，比如说梯度累加（gradient accumulation）传统的训练函数，一个batch是这么训练的：for i,(images,target) in enumerate(train_loader):
# 1. input output
images = images.cud
转载
2023-08-08 10:52:27
124阅读
# PyTorch 不计算某个模型梯度的详细教程
在深度学习中，有时我们不希望对某些模型参数计算梯度。比如在迁移学习中，只希望微调特定层的参数，而将其他层的梯度冻结。本文将详细阐述如何在 PyTorch 中实现这一目标。
## 流程概述
下面是针对不计算某个模型梯度的流程图，这个流程可以概括为以下几步：
| 步骤 | 描述
# 使用 PyTorch 调试模型中间结果
调试深度学习模型尤其是使用 PyTorch 时，了解模型中间结果是一个非常有用的技能。本文将指导你如何在 PyTorch 中实现这一目的，包括整个过程的步骤以及相应代码示例。
## 流程概述
以下是调试 PyTorch 模型中间结果的步骤：
| 步骤 | 描述 |
|------|-------
1.梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为L的多层感知机的第l层H(l)的权重参数为W(l)，输出层H(L)的权重参数为W(L)。为了便于讨论，不考虑偏差参数，且设所有隐藏层的激活函数为恒等映射（identity mapping）ϕ(x)=x。给定输入X，多层感知机
转载
2023-12-24 21:34:43
118阅读
前言本篇笔记以介绍 pytorch 中的 autograd 模块功能为主，主要涉及 torch/autograd 下代码，不涉及底层的 C++ 实现。本文涉及的源码以 PyTorch 1.7 为准。torch.autograd.function （函数的反向传播）torch.autograd.functional （计算图的反向传播）torch.autograd.gradcheck （数值梯度检查
转载
2024-06-21 09:34:30
58阅读
PyTorch学习（二）前言一、autograd自动求梯度二、使用步骤1.示例一2.示例二 前言torch.autograd是 PyTorch 的自动差分引擎，可为神经网络训练提供支持。神经网络就是寻求一个拟合函数，但是因为参数过多，所以不得不借助每一点的梯度来一点一点的接近最佳的loss值，PyTorch 拥有动态的计算图，存储记忆对向量的每一个函数操作，最后通过反向传播来计算梯度，这可以说是
转载
2023-08-27 22:56:45
173阅读
文章目录前言1 概念2 Tensor3 梯度 前言在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。本节将介绍如何使用autograd包来进行自动求梯度的有关操作。1 概念Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的
转载
2023-08-10 21:51:16
136阅读
