Torch.autograd在训练神经网络时，我们最常用的算法就是反向传播（BP）。参数的更新依靠的就是loss function针对给定参数的梯度。为了计算梯度，pytorch提供了内置的求导机制 torch.autograd，它支持对任意计算图的自动梯度计算。计算图是由节点和边组成的，其中的一些节点是数据，一些是数据之间的运算计算图实际上就是变量之间的关系tensor 和 function 互
转载
2024-07-11 10:07:53
67阅读
在使用 PyTorch 进行深度学习任务时，处理 Tensor 的求导状态是一个非常重要的环节。当我们在训练模型的过程中，有时需要清除 Tensor 的求导状态以节省内存或重置计算图。本文将记录如何在 PyTorch 中清除 Tensor 的求导状态，以及这一过程的相关背景、技术原理、架构解析、源码分析和扩展讨论。
在 2023 年，上述问题越来越频繁地被提及，尤其是在使用 PyTorch 的过
PyTorch 作为一个深度学习平台，在深度学习任务中比 NumPy 这个科学计算库强在哪里呢？一是 PyTorch 提供了自动求导机制，二是对 GPU 的支持。由此可见，自动求导 (autograd) 是 PyTorch，乃至其他大部分深度学习框架中的重要组成部分。了解自动求导背后的原理和规则，对我们写出一个更干净整洁甚至更高效的 PyTorch 代码是十分重要的。但是，现在已经有了很多封装好的
转载
2024-02-03 22:02:13
86阅读
GitHub 上找了几个 examples 来学习，对网络的搭建有了笼统地认识，但是发现有好多基础 pytorch 的知识需要补习，所以慢慢从官网 API 进行学习吧。AUTOGRAD MECHANICS(自动求导机制) 这一部分做了解处理，不需要完全理解的明明白白的。Excluding subgraphs from backward默认参数 False），可以设置此参数排除向后梯度求导时排除子
转载
2023-06-06 09:56:17
79阅读
作者：曾芃壹 文章目录Tensor基本创建方法Tensor快速创建方法常用数学操作线性代数运算连接和切片变形CUDA加速自动微分基本原理向前传播反向传播非标量输出 TensorTensor,中文为张量，是pytorch中最基本的数据类型#导入torch包
import torch基本创建方法#torch.Tensor()传入参数构造矩阵
x=torch.Tensor(2,4)
print(x)
p
转载
2023-10-20 20:44:27
214阅读
PyTorch 的 自动求导（Autograd）一是 PyTorch 提供了自动求导机制，二是对 GPU 的支持。现在已经有了很多封装好的 API，我们在写一个自己的网络的时候，可能几乎都不用去注意求导这些问题，因为这些 API 已经在私底下处理好了这些事情。现在我们往往只需要，搭建个想要的模型，处理好数据的载入，调用现成的 optimizer 和 loss function，直接开始训练就好了。
转载
2023-12-13 00:38:35
69阅读
1. 自动求导机制pytorch会根据就算过程自动生成动态图，然后可以根据动态图的创建过程进行反向传播，计算得到每个节点的梯度。在创建张量的时候设置requires_grad=True可以将该张量加入到计算图中。torch.autograd为pytorch的自动求导包，有torch.autograd.backward函数和torch.autograd.grad函数，其中torch.autograd
转载
2024-01-14 20:12:09
64阅读
本文参考了官方文档及各个大佬的博客在神经网络模型中需要对参数求导更新，pytorch中Autograd包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义(define-by-run）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。本文涉及： Tensor属性：.gr
转载
2023-11-25 17:40:43
147阅读
PyTorch教程【五】TensorBoard的使用
一、安装TensorBoard1、进入Anaconda Prompt，激活环境conda activate pytorch(或直接在PyCharm中打开Terminal终端)2、输入命令pip install tensorboard3、安装成功二、代码示例from torch.utils.tensor
转载
2023-07-24 18:21:35
151阅读
【Pytorch学习笔记】Day01 - Pytorch的基本操作 文章目录【Pytorch学习笔记】Day01 - Pytorch的基本操作一、创建Tensor二、数据操作2.1 算术操作2.2 索引2.3 改变形状2.4 Tensor、NumPy 和 标量 的 互通2.5 线性代数相关函数三、Tensor的广播机制四、运算的内存开销五、Tensor在CPU和GPU之间相互移动 一、创建Tens
转载
2023-09-03 18:11:20
186阅读
模型的保存和加载都在系列化的模块下先看保存的更详细的可以参考这里https://pytorch.org/docs/stable/notes/serialization.html#preserve-storage-sharing torch.save()并torch.load()让您轻松保存和加载张量：最简单的就是t = torch.tensor([1., 2.])
torch.save(t, 't
转载
2023-10-11 06:23:50
2418阅读
创建Tensor的多种方法从numpy创建import torch
import numpy as np
a = np.array([2, 3.3])
a = torch.from_numpy(a) # torch.DoubleTensor从list创建a = torch.FloatTensor([2, 3.3]) # 尽量少用这种方式,容易和给shape的情况看混淆
b = torch.t
转载
2023-08-24 17:08:55
277阅读
上一篇博客讲述了如何根据自己的实际需要在pytorch中创建tensor，这一篇主要来探讨关于tensor的基本数据变换，是pytorch处理数据的基本方法。 文章目录1 tensor数据查看与提取2 tensor数据变换2.1 重置tensor形状:pytorch.view()2.2 增加/减少tensor维度:torch.unsqueeze()/torch.squeeze()2.3 tenso
转载
2023-08-26 16:01:49
107阅读
pytorch作为一款经典的深度学习工具，几乎统治了科研/学生党在深度学习工具领域的全部江山。 从本篇博客开始，我将会陆续更新一些关于pytorch的基础用法和实战操作。 文章目录1 Tensor简介2 使用特定数据创建Tensor2.1 使用numpy格式的数据创建2.2 直接输入数据创建2.3 元素值相同矩阵的创建2.4 连续数据range的创建2.5 特殊矩阵的创建3 使用随机数据创建Ten
转载
2023-10-06 15:56:54
103阅读
测试环境版本: torch1.7.1 + CPU python 3.6Tensor是pytorch中的“张量”，可以看作是类似numpy的矩阵 本文介绍如何创建与调整Tensor参考书目: 《深度学习框架pytorch: 入门与实践》陈云著首先引用torch:import torch as t1、创建tensor1）使用Tensor函数创建tensor# 1 指定形状
a = t.Tensor(2
转载
2023-12-13 02:29:42
135阅读
ensor的索引、切片和拼接一、相关命令命令1：拼接-torch.cat()格式： torch.cat(tensors, dim=0, out=None) → Tensor解释：在指定维度上拼接两个tensor>>> x = torch.randn(2, 3)
>>> x
tensor([[ 0.6580, -1.0969, -0.4614],
转载
2023-12-07 13:12:35
176阅读
在文章PyTorch-Tutorials【pytorch官方教程中英文详解】- 1 Quickstart中是快速介绍版本。接下来具体看看pytorch中的重要概念：Tensor（张量）。官网链接：Tensors — PyTorch Tutorials 1.10.1+cu102 documentationTensors are a specialized data structure that ar
转载
2023-11-01 20:59:42
126阅读
张量维度操作（拼接、维度扩展、压缩、转置、重复……）note: torch.fun(tensor1)和tensor1.fun()都只会返回改变后的tensor，但是tensor本身的维度和数据都不会变。包括unsqueeze、expand等等。张量切片选择TORCH.INDEX_SELECTtorch.index_select(input, dim, index, *, out=None)示例&g
转载
2024-08-22 22:25:09
62阅读
Tensor attributes:在tensor attributes中有三个类，分别为torch.dtype, torch.device, 和 torch.layout其中， torch.dtype 是展示 torch.Tensor 数据类型的类，pytorch 有八个不同的数据类型,下表是完整的 dtype 列表. Torch.device 是表现 torch.Tensor被分配的
转载
2023-11-09 10:02:15
271阅读
Pytorch 构造稀疏 Tensortorch.sparse_coo_tensor(indices, values,
size=None, *,
dtype=None,
device=None,
requires_grad=False)Constructs a sparse tensor in COO(rdinate) fo
转载
2023-06-15 19:48:25
173阅读
