创建Tensor的多种方法从numpy创建import torch
import numpy as np
a = np.array([2, 3.3])
a = torch.from_numpy(a) # torch.DoubleTensor从list创建a = torch.FloatTensor([2, 3.3]) # 尽量少用这种方式,容易和给shape的情况看混淆
b = torch.t
转载
2023-08-24 17:08:55
277阅读
Tensor是PyTorch中重要的数据结构，可认为是一个高维数组，可以使用GPU加速。import torch as t
# 构建5*3矩阵，只是分配了空间，未初始化
x = t.Tensor(5, 3)
# 使用[0, 1]均匀分布随机初始化二维数组
x = t.rand(5, 3)
# 查看x的形状
print(x.size())
y = t.rand(5, 3)
# 加法的第一种
转载
2023-10-11 10:00:38
351阅读
论文代码使用到的函数 文章目录论文代码使用到的函数tensor.view()nn.Sequential()tensor.transpose()torch.mm()torch.stack()@staticmethod 最近在看别人的论文，也没有怎么使用过Pytorch，遇到一些关键的函数，不太明白函数的功能和参数，在这里做一个记录，方便后面查看。 tensor.view()有条件的可以直接查看英文
# 如何在PyTorch中释放Tensor的内存
在机器学习和深度学习的过程中，我们通常需要处理大量的数据。在使用PyTorch时，Tensor对象的使用频繁，这会占用大量内存。对于刚入行的小白来说，合理管理内存变得尤为重要。本文将详细介绍如何在PyTorch中释放Tensor的内存。
## 整体流程概述
在学习如何释放Tensor的内存之前，首先我们需要了解整个流程，具体可以分为以下几个步
# PyTorch释放Tensor
PyTorch是一个开源的机器学习库，广泛应用于深度学习领域。在PyTorch中，Tensor是最基本的数据结构，类似于Numpy中的数组。在使用PyTorch进行计算时，经常需要手动释放Tensor以释放内存。本文将介绍如何在PyTorch中释放Tensor，并提供相应的代码示例。
## 为什么需要释放Tensor
在PyTorch中，Tensor是占用
原创
2024-05-20 06:22:03
115阅读
Tensor目录一、张量Tensor二、模块导入三、创建tensor的方式（一）使用python中的列表创建tensor（二）使用numpy中的数组创建tensor（三）使用torch的API创建tensor二、pytorch中tensor的常用方法三、tensor的数据类型 一、张量Tensor二、模块导入import numpy as np
import torch三、创建tensor的方式
转载
2023-11-11 21:14:04
92阅读
在使用 PyTorch 作为深度学习框架时，我们往往会遇到内存管理的问题，尤其是在处理大量 Tensor 时。Tensor 占用 GPU 内存，如果没有适当的释放策略，将导致内存不足，影响模型性能。因此，本文将详细介绍“PyTorch释放Tensor空间”的备份策略、恢复流程、灾难场景、工具链集成、验证方法及案例分析。
## 备份策略
在数据处理过程中，确保数据的安全性与完整性至关重要，尤其是
本文主要是Pytorch2.0 的小实验，在MacBookPro 上体验一下等优化改进后的Transformer Self Attention的性能，具体的有 FlashAttention、Memory-Efficient Attention、CausalSelfAttention 等。主要是torch.compile(model) 和 scaled_dot_product_attention的使
转载
2024-10-09 20:04:02
69阅读
# PyTorch中的Tensor内存管理：del的作用及其释放机制
在深度学习中，PyTorch因其动态计算图和灵活的内存管理而受到广泛欢迎。Tensor是PyTorch中的基本数据结构，理解它的内存管理对于提高代码效率和性能非常重要。本文将探讨`del`语句在PyTorch中如何释放Tensor的内存，并配合示例进行详细说明。
## 什么是Tensor
Tensor是多维数组的通用化形态
在使用 PyTorch 进行深度学习的过程中，我常常需要对 Tensor 进行管理，特别是当我释放一个 Tensor 的时候。Tensor 是 PyTorch 的核心数据结构之一，理解如何正确地释放 Tensor 可以帮助我优化内存使用并避免不必要的内存消耗。
## 协议背景
在深度学习中，Tensor 是存储数据的主要载体。PyTorch 提供了一系列 API 来管理内存和进行垃圾回收，以确
目录 术语概念contiguous65535LL数组取值Half数据类型blobCTCLoss谱归一化ONNXQuantizationdynamic dispatchTensor的dispatchSize, storage offset, strideProtocol BufferMessageSpecifying Field TypesAssigning Field NumbersSp
转载
2023-11-06 19:36:36
131阅读
作者：曾芃壹 文章目录Tensor基本创建方法Tensor快速创建方法常用数学操作线性代数运算连接和切片变形CUDA加速自动微分基本原理向前传播反向传播非标量输出 TensorTensor,中文为张量，是pytorch中最基本的数据类型#导入torch包
import torch基本创建方法#torch.Tensor()传入参数构造矩阵
x=torch.Tensor(2,4)
print(x)
p
转载
2023-10-20 20:44:27
214阅读
本文参考了官方文档及各个大佬的博客在神经网络模型中需要对参数求导更新，pytorch中Autograd包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义(define-by-run）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的。本文涉及： Tensor属性：.gr
转载
2023-11-25 17:40:43
147阅读
【Pytorch学习笔记】Day01 - Pytorch的基本操作 文章目录【Pytorch学习笔记】Day01 - Pytorch的基本操作一、创建Tensor二、数据操作2.1 算术操作2.2 索引2.3 改变形状2.4 Tensor、NumPy 和 标量 的 互通2.5 线性代数相关函数三、Tensor的广播机制四、运算的内存开销五、Tensor在CPU和GPU之间相互移动 一、创建Tens
转载
2023-09-03 18:11:20
186阅读
PyTorch教程【五】TensorBoard的使用
一、安装TensorBoard1、进入Anaconda Prompt，激活环境conda activate pytorch(或直接在PyCharm中打开Terminal终端)2、输入命令pip install tensorboard3、安装成功二、代码示例from torch.utils.tensor
转载
2023-07-24 18:21:35
151阅读
模型的保存和加载都在系列化的模块下先看保存的更详细的可以参考这里https://pytorch.org/docs/stable/notes/serialization.html#preserve-storage-sharing torch.save()并torch.load()让您轻松保存和加载张量：最简单的就是t = torch.tensor([1., 2.])
torch.save(t, 't
转载
2023-10-11 06:23:50
2418阅读
上一篇博客讲述了如何根据自己的实际需要在pytorch中创建tensor，这一篇主要来探讨关于tensor的基本数据变换，是pytorch处理数据的基本方法。 文章目录1 tensor数据查看与提取2 tensor数据变换2.1 重置tensor形状:pytorch.view()2.2 增加/减少tensor维度:torch.unsqueeze()/torch.squeeze()2.3 tenso
转载
2023-08-26 16:01:49
107阅读
测试环境版本: torch1.7.1 + CPU python 3.6Tensor是pytorch中的“张量”，可以看作是类似numpy的矩阵 本文介绍如何创建与调整Tensor参考书目: 《深度学习框架pytorch: 入门与实践》陈云著首先引用torch:import torch as t1、创建tensor1）使用Tensor函数创建tensor# 1 指定形状
a = t.Tensor(2
转载
2023-12-13 02:29:42
135阅读
pytorch作为一款经典的深度学习工具，几乎统治了科研/学生党在深度学习工具领域的全部江山。 从本篇博客开始，我将会陆续更新一些关于pytorch的基础用法和实战操作。 文章目录1 Tensor简介2 使用特定数据创建Tensor2.1 使用numpy格式的数据创建2.2 直接输入数据创建2.3 元素值相同矩阵的创建2.4 连续数据range的创建2.5 特殊矩阵的创建3 使用随机数据创建Ten
转载
2023-10-06 15:56:54
103阅读
张量维度操作（拼接、维度扩展、压缩、转置、重复……）note: torch.fun(tensor1)和tensor1.fun()都只会返回改变后的tensor，但是tensor本身的维度和数据都不会变。包括unsqueeze、expand等等。张量切片选择TORCH.INDEX_SELECTtorch.index_select(input, dim, index, *, out=None)示例&g
转载
2024-08-22 22:25:09
62阅读
