b站刘二大人《PyTorch深度学习实践》课程第三讲梯度下降笔记与代码：https://www.bilibili.com/video/BV1Y7411d7Ys?p=3&vd_source=b17f113d28933824d753a0915d5e3a90上一讲例子中，初始权重是随机给的，然后计算每个样本的预测值与真实值的误差平方，再算整个训练集的均方根误差，选择最小的均方根误差对应的权重值上
# PyTorch清零Tensor的梯度：一名新手开发者的指南
在深度学习的训练过程中，管理模型的梯度是非常重要的一环。特别是当你在进行反向传播时，通常需要在每次优化之前清零（reset）所有的梯度。这篇文章将引导你了解如何在PyTorch中清零Tensor的梯度，包括一个简洁的流程图，详细的代码实例，以及每一步的解释。
## 整体流程
为了实现梯度清零的功能，以下是整个流程的简要概述：
Tensor与Numpy相似，二者可以共享内存，而且之间的转换非常方便与高效。 最大的区别在于，Numpy中的ndarray只能在cpu中进行加速计算，而由torch产生的tenor可以放在GPU中进行加速运算。2.4.1 Tensor概述对Tensor的操作，从接口的角度分为两类：torch.funcitontensor.function torch.add(x,y)等价于x.add(y)从修改
转载
2023-08-21 10:57:13
114阅读
梯度下降和反向传播目标知道什么是梯度下降知道什么是反向传播1. 梯度是什么?梯度：是一个向量，导数+变化最快的方向(学习的前进方向)回顾机器学习2. 偏导的计算2.1 常见的导数计算2.2 多元函数求偏导3. 反向传播算法3.1 计算图和反向传播计算图：通过图的方式来描述函数的图形在上面的练习中，,把它绘制成计算图可以表示为：绘制成为计算图之后，可以清楚的看到向前计算的过程之后，对每个节点求偏导可
文章目录optimizer.zero_grad()一、功能二、为什么每一轮batch都需要设置optimizer.zero_grad三、每个batch必定执行的操作步骤四、优化器定义4.1 优化器参数 optimizer.zero_grad()仅用作学习，来源：torch代码解析 为什么要使用optimizer.zero_grad()一、功能梯度初始化为零，把loss关于weight的导数变成0
# 如何在 PyTorch 中实现某个 Tensor 的梯度不回传
在深度学习的过程中，我们常常需要对模型进行训练和调整。在 PyTorch 中，有时我们需要控制某些 Tensor 的梯度是否会回传到模型的前一层。这对于特定的操作（比如固定某些层的参数）来说非常重要。本篇文章将逐步教会你如何在 PyTorch 中实现某个 Tensor 的梯度不回传。
## 整体流程
首先，我们从整体流程着手
原创
2024-10-12 04:55:46
159阅读
张量1、torch.is_tensor(obj) 如果obj 是一个pytorch张量，则返回True 创建张量1、torch.eyetorch.eye(n, m=None, out=None)
返回一个2维张量，对角线位置全1，其它位置全0
参数:
n (int ) – 行数
m (int, optional) – 列数
---------------------------
转载
2023-10-17 23:15:00
620阅读
Tensor的常见操作针对Pytorch中的tensor，总结一下常用的操作1、torch.max和torch.min两个函数的实现类似，形参也相同，只是一个取最大一个取最小而已，下面以max为例，min同理。 （1） torch.max(a): 返回输入a中所有元素的最大值。 （2） torch.max(a, 0): 返回每一列的最大值，且返回索引（返回最大元素在各列的行索引）。 （3） tor
转载
2023-08-04 09:59:30
531阅读
文章目录使用PyTorch计算梯度数值Autograd简单的自动求导复杂的自动求导Autograd 过程解析扩展Autograd import torch
torch.__version__'1.0.1.post2'使用PyTorch计算梯度数值PyTorch的Autograd模块实现了深度学习的算法中的向传播求导数，在张量（Tensor类）上的所有操作，Autograd都能为他们自动提供微分，
转载
2024-04-20 18:27:51
183阅读
Pytorch最核心的数据类型是tensor（张量），实际上我个人觉得形式上张量就是个高维数组。但是tensor的维度如何理解，比如高维tensor我们取[:,:,:,…:,3]的时候我们取的是那些数？这涉及到对tensor维度的理解tensor生成x=torch.zeros(5,3)
输出：
tensor([[0., 0., 0.],
[0., 0., 0.],
转载
2023-08-22 19:37:40
443阅读
# PyTorch获取Tensor的size
PyTorch是一个深度学习框架，它提供了丰富的功能和工具来处理张量（Tensor）操作。张量是PyTorch中最基本的数据结构，可以看作是多维数组。在深度学习中，我们经常需要获取张量的大小（size），以便正确地进行模型的构建和数据处理。本文将介绍如何使用PyTorch获取Tensor的size，并提供一些示例代码，帮助读者更好地理解和应用。
#
原创
2024-02-02 10:12:41
705阅读
# 如何在 PyTorch 中获取 Tensor 的形状
在深入学习深度学习框架 PyTorch 之前，了解基本的操作是非常重要的。Tensor 是 PyTorch 的基础数据结构之一，获取 Tensor 的形状是操作 Tensor 的第一步。本篇文章将帮助你一步一步掌握如何在 PyTorch 中获取 Tensor 的形状。
## 流程概述
以下是获取 Tensor 形状的基本流程：
|
原创
2024-08-10 04:27:22
166阅读
本文介绍一个用于 PyTorch 代码的实用工具 TorchSnooper。作者是TorchSnooper的作者，也是PyTorch开发者之一。GitHub 项目地址： https://github.com/zasdfgbnm/TorchSnooper大家可能遇到这样子的困扰：比如说运行自己编写的 PyTorch 代码的时候，PyTorch 提示你说数据类型不匹配，需要一个 double 的 te
转载
2023-12-04 11:41:38
224阅读
一、集合数据类型(set):无序不重复的集合，交集、并集等功能二、三元运算符三、深浅拷贝1）字符串和数字：深浅内存地址都一样2）其他：浅拷贝：仅复制最外面第一层深拷贝：除了最内层其他均拷贝四、函数：1）创建：def 函数名(参数)2）返回值 return 返回值，如果不指定return则默认返回None一旦遇到return后面的代码不再执行3）参数形参、实参普通参数数量要一致
# 如何在PyTorch中获取tensor的索引
## 概述
在PyTorch中，要获取tensor的索引，可以通过一系列操作来实现。在本文中，我将向你展示如何实现这一功能，并帮助你逐步了解整个过程。
## 步骤
下面是获取tensor索引的步骤：
```mermaid
pie
title 获取tensor索引的步骤
"创建一个PyTorch tensor" : 1
原创
2024-03-14 04:48:42
81阅读
# 如何在 PyTorch 中获取 Tensor 的形状
在机器学习和深度学习的过程中，我们经常需要处理多维数组，这些数组在 PyTorch 中被称为 Tensors。了解如何获取 Tensor 的形状是基本技能之一。本文将详细介绍如何在 PyTorch 中获取 Tensor 的形状，包括具体的实现步骤和示例代码。我们将按照以下流程进行学习：
## 流程步骤
| 步骤 | 描述
# PyTorch中获取Tensor索引的方法
在PyTorch中，我们经常需要获取tensor中的某个元素或者某个范围的元素。这时候，我们就需要使用PyTorch提供的方法来获取tensor的索引。本文将介绍几种获取tensor索引的方法，并附上相应的代码示例。
## 1. 通过索引获取单个元素
我们可以通过索引来获取tensor中的单个元素，这时候需要使用`tensor[index]`的
原创
2024-03-19 04:57:47
158阅读
查看张量形状有两种方法查看张量形状:通过属性查看 Tensor.shape通过方法查看 Tensor.size()两种方式的结果都是一个 torch.Size 类型(元组的子类)的对象>>> t = torch.empty(3, 4)
>>> t.size()
torch.Size([3, 4])
# 获取 dim=1 维度的 size
>>>
转载
2024-09-24 11:01:18
86阅读
在使用 PyTorch 进行深度学习时，经常会需要获取 Tensor 的大小。在处理数据时，Tensor 的维度和大小直接影响到我们模型的设计和数据的处理。接下来，我们将从环境准备到实战应用，深入探讨如何获取 Tensor 大小的相关技术细节和操作。
### 环境准备
首先，我们需要确保我们的开发环境能够运行 PyTorch。以下是依赖安装的指南。
| 操作系统 | Python 版本 |
# 如何使用PyTorch获取Tensor的形状
## 引言
PyTorch是一个开源的深度学习框架，广泛应用于各种机器学习任务中。在PyTorch中，Tensor是最基本的数据结构，它是一个多维数组，用于存储和处理数据。获取一个Tensor的形状（shape）是我们在实际开发中经常遇到的问题之一。本文将介绍如何使用PyTorch获取Tensor的形状，并帮助刚入行的小白快速上手。
## 整体
原创
2024-01-10 11:26:46
412阅读
