在使用 PyTorch 进行深度学习的过程中，我常常需要对 Tensor 进行管理，特别是当我释放一个 Tensor 的时候。Tensor 是 PyTorch 的核心数据结构之一，理解如何正确地释放 Tensor 可以帮助我优化内存使用并避免不必要的内存消耗。
## 协议背景
在深度学习中，Tensor 是存储数据的主要载体。PyTorch 提供了一系列 API 来管理内存和进行垃圾回收，以确
目录 术语概念contiguous65535LL数组取值Half数据类型blobCTCLoss谱归一化ONNXQuantizationdynamic dispatchTensor的dispatchSize, storage offset, strideProtocol BufferMessageSpecifying Field TypesAssigning Field NumbersSp
转载
2023-11-06 19:36:36
131阅读
Tensor是PyTorch中重要的数据结构，可认为是一个高维数组，可以使用GPU加速。import torch as t
# 构建5*3矩阵，只是分配了空间，未初始化
x = t.Tensor(5, 3)
# 使用[0, 1]均匀分布随机初始化二维数组
x = t.rand(5, 3)
# 查看x的形状
print(x.size())
y = t.rand(5, 3)
# 加法的第一种
转载
2023-10-11 10:00:38
351阅读
创建Tensor的多种方法从numpy创建import torch
import numpy as np
a = np.array([2, 3.3])
a = torch.from_numpy(a) # torch.DoubleTensor从list创建a = torch.FloatTensor([2, 3.3]) # 尽量少用这种方式,容易和给shape的情况看混淆
b = torch.t
转载
2023-08-24 17:08:55
277阅读
论文代码使用到的函数 文章目录论文代码使用到的函数tensor.view()nn.Sequential()tensor.transpose()torch.mm()torch.stack()@staticmethod 最近在看别人的论文，也没有怎么使用过Pytorch，遇到一些关键的函数，不太明白函数的功能和参数，在这里做一个记录，方便后面查看。 tensor.view()有条件的可以直接查看英文
# 如何在PyTorch中释放Tensor的内存
在机器学习和深度学习的过程中，我们通常需要处理大量的数据。在使用PyTorch时，Tensor对象的使用频繁，这会占用大量内存。对于刚入行的小白来说，合理管理内存变得尤为重要。本文将详细介绍如何在PyTorch中释放Tensor的内存。
## 整体流程概述
在学习如何释放Tensor的内存之前，首先我们需要了解整个流程，具体可以分为以下几个步
# PyTorch释放Tensor
PyTorch是一个开源的机器学习库，广泛应用于深度学习领域。在PyTorch中，Tensor是最基本的数据结构，类似于Numpy中的数组。在使用PyTorch进行计算时，经常需要手动释放Tensor以释放内存。本文将介绍如何在PyTorch中释放Tensor，并提供相应的代码示例。
## 为什么需要释放Tensor
在PyTorch中，Tensor是占用
原创
2024-05-20 06:22:03
115阅读
第12个方法torch.tensor(data, *, dtype=None, device=None, requires_grad=False, pin_memory=False)此方法用于创建pytorch中的tensor创建，此方法使用data构建并返回一个tensor。使用方法如下：import torch
a = torch.tensor([2, 3, 5])此时a就是一个具有值[2,
转载
2023-10-14 08:37:27
627阅读
python与pytorch中需要注意的点python对象的复制pytorch结果复现pytorch断点续训 python对象的复制 python中有一个专门用于复制的包copy, 这个包的出现其实就暗示了我们平时使用等式来复制对象有可能是不对的，且根据python中可变数据类型与不可变数据类型的差异，推知不同的数据类型复制方式不同。 python可变数据类型有list, dict, se
Tensor目录一、张量Tensor二、模块导入三、创建tensor的方式（一）使用python中的列表创建tensor（二）使用numpy中的数组创建tensor（三）使用torch的API创建tensor二、pytorch中tensor的常用方法三、tensor的数据类型 一、张量Tensor二、模块导入import numpy as np
import torch三、创建tensor的方式
转载
2023-11-11 21:14:04
92阅读
以下小结为本人结合实验后得出的结论，如有错误或补充欢迎指正交流。（持续更新）tensor.expand()这个方法可以扩张维度，返回当前张量在某维扩展更大后的张量，但是被扩张的维度里的元素只能唯一。tensor.squeeze()将维度压缩到最紧凑的状态 至于为啥要压缩，也不是很清楚tensor.view()将矩阵变成想要的形状参数为该维度中元素个数，如图dim=0的元素个数为3，dim=1的元素
转载
2023-11-24 20:05:44
268阅读
1、基础运算可以使用 + - * / 推荐也可以使用 torch.add, mul, sub, div （1）加法运算def add():
# add +
# 这两个Tensor加减乘除会对b自动进行Broadcasting
a = torch.rand(3,4)
b = torch.rand(4)
print("a = {}".format(a)
转载
2023-12-01 10:47:18
189阅读
本文主要是Pytorch2.0 的小实验，在MacBookPro 上体验一下等优化改进后的Transformer Self Attention的性能，具体的有 FlashAttention、Memory-Efficient Attention、CausalSelfAttention 等。主要是torch.compile(model) 和 scaled_dot_product_attention的使
转载
2024-10-09 20:04:02
69阅读
在使用 PyTorch 作为深度学习框架时，我们往往会遇到内存管理的问题，尤其是在处理大量 Tensor 时。Tensor 占用 GPU 内存，如果没有适当的释放策略，将导致内存不足，影响模型性能。因此，本文将详细介绍“PyTorch释放Tensor空间”的备份策略、恢复流程、灾难场景、工具链集成、验证方法及案例分析。
## 备份策略
在数据处理过程中，确保数据的安全性与完整性至关重要，尤其是
列举创建tensor的几种方法，以及注意事项
原创
2022-01-25 15:54:37
155阅读
# 使用PyTorch去除Tensor的维度：深入探讨
在机器学习和深度学习的世界中，张量（Tensor）是数据的基本结构。使用PyTorch时，我们经常需要对这些张量进行各种操作，其中之一就是去除不必要的维度。本文将为初学者提供一个清晰的流程和代码示例，帮助你理解如何在PyTorch中去除一个维度。
## 整体流程
去除PyTorch Tensor维度的过程可以分为几个简单的步骤，以下表格
原创
2024-09-24 05:43:07
491阅读
# PyTorch中Tensor的扩充操作
在深度学习中，Tensor是基础的数据结构。Tensor的扩充（或称为广播）是一个重要的操作，它允许我们在运算时自动扩展Tensor的维度，以便于进行有效的计算。本文将介绍如何在PyTorch中扩充Tensor，并给出具体的代码示例，帮助初学者更好地理解这一概念。
## 什么是Tensor的扩充？
在数学上，广义的广播指的是将较小的数组与较大的数组
# 使用 PyTorch 进行张量维度减少
在深度学习中，使用 PyTorch 进行张量操作是经常需要掌握的技能。作为一名刚入行的小白，理解如何减少张量的维度是非常重要的。本文将通过简单明了的步骤帮助你掌握这一过程。
## 流程概述
下面的表格展示了我们将要进行的整个流程：
| 步骤 | 说明 |
|------|---------
列举创建tensor的几种方法，以及注意事项
原创
2021-07-08 14:11:33
381阅读
Tensor和Numpy数组之间具有很高的相似性，彼此之间的互操作也非常简单高效。需要注意的是，Numpy和Tensor共享内存。由于Numpy历史悠久，支持丰富的操作，所以当遇到Tensor不支持的操作时，可先转成Numpy数组，处理后再转回tensor，其转换开销很小。示例代码：from __future__ import print_function
import torch as t
im
转载
2023-11-06 18:39:07
76阅读
