之前面试时被问到pytorch的一些基本知识，记录一下。基本来源于pytorch官方文档的翻译。 [pytorch官方文档 如果使用pytorch还是建议多读读官方文档，里面包含很多例子，上手会比较快Tensortensor张量：n维矩阵，能够利用GPU加速torch.from_numpy可以将numpy转换为张量Autograd自动求导，不需要手工去计算前向和反向传播。当使用autograd时，
转载
2024-10-14 00:09:39
54阅读
softmax是非线性激活函数的一种。它将神经元的输出变换到(0,1)的区间内。 需要注意的是对应的是分子中的指数项，而与分母是无关的。 下面对进行求导, 这里分为两种情况。 j==i 另一种情况是 j!=i 就是要注意对求导时，S的分子的指数项哪一项，刚好是还是别的项，这将直接影响求导的最终结果。 ...
转载
2021-08-11 13:09:00
2808阅读
2评论
摘要： 本文首先回顾了导数的基本概念，然后初步书写了计算函数导数的程序函数，并根据计算机特点对函数进行了改进以达到工程实现。关键词： 导数、工程实现本文默认你对导数有一定了解，所介绍的函数默认是可导的。前言在人工智能领域，深度学习相关研究一直在如火如荼地进行着。基本上所有的深度学习算法的都使用了反向传播（Backpropagation， BP）算法。在反向传播中更新参数的过程中少不了的一步就是计算
转载
2023-08-13 16:14:56
0阅读
GitHub 上找了几个 examples 来学习，对网络的搭建有了笼统地认识，但是发现有好多基础 pytorch 的知识需要补习，所以慢慢从官网 API 进行学习吧。AUTOGRAD MECHANICS(自动求导机制) 这一部分做了解处理，不需要完全理解的明明白白的。Excluding subgraphs from backward默认参数 False），可以设置此参数排除向后梯度求导时排除子
转载
2023-06-06 09:56:17
79阅读
PyTorch 的 自动求导（Autograd）一是 PyTorch 提供了自动求导机制，二是对 GPU 的支持。现在已经有了很多封装好的 API，我们在写一个自己的网络的时候，可能几乎都不用去注意求导这些问题，因为这些 API 已经在私底下处理好了这些事情。现在我们往往只需要，搭建个想要的模型，处理好数据的载入，调用现成的 optimizer 和 loss function，直接开始训练就好了。
转载
2023-12-13 00:38:35
69阅读
1. 自动求导机制pytorch会根据就算过程自动生成动态图，然后可以根据动态图的创建过程进行反向传播，计算得到每个节点的梯度。在创建张量的时候设置requires_grad=True可以将该张量加入到计算图中。torch.autograd为pytorch的自动求导包，有torch.autograd.backward函数和torch.autograd.grad函数，其中torch.autograd
转载
2024-01-14 20:12:09
64阅读
动机作者 Yangtf最近一直在求各种导数，于是就想写一个自动求导的算法。 其实python中的theano就有这个功能，但想了想，思路不难，于是就动手实现了一个。本来想用c++实现了，但发现c++写各种问题，内存管理、操作符重载都不尽人意。花费了不少时间后，决定换语言。 Java是第一熟练语言，但不支持操作符重载，奈何？ 于是转战python。源代码路径思路##函数的表示将函数表达式表示为一个表
转载
2024-02-27 20:01:07
26阅读
实验二 导数的计算实验目的: 学会用MATLAB软件求一元函数导数 学会用MATLAB软件求函数积分。 MATLAB用来求导数的命令diff, 调用格式: diff(f(x))求f(x)对x导数......? ? ? ? ? 7.1 7.2 7.3 7.4 7.5 7.6 7.7 7.8 7.9 7.10 7.11 7.12 导数概念 导数的MATLAB符号求解 函数的微分 微分中值定理 洛必达法
PyTorch学习笔记 （1） 文章目录PyTorch学习笔记 （1）常见函数学习1. torch.rand()2. torch.randn()3. torch.mm()4. torch.t()5. torch.item()6. torch.tolist() PyTorch官网上有一个使用两层神经网络入门的教程，但是去理解该教程，需要首先从几个关键函数的定义入手。以下从官网上摘取以下六个函数的定
转载
2023-10-18 15:49:07
81阅读
在pytorch中想自定义求导函数，通过实现torch.autograd.Function并重写forward和backward函数，来定义自己的自动求导运算。参考官网上的demo：传送门直接上代码，定义一个ReLu来实现自动求导import torchclass MyRelu(torch.autograd.Function): @staticmethod def forwar
原创
2022-10-21 16:04:22
174阅读
一. torch.stack（）函数解析1. 函数说明：1.1 官网：torch.stack()，函数定义及参数说明如下图所示：1.2 函数功能沿一个新维度对输入一系列张量进行连接，序列中所有张量应为相同形状，stack 函数返回的结果会新增一个维度。也即是把多个2维的张量凑成一个3维的张量；多个3维的凑成一个4维的张量…以此类推，也就是在增加新的维度上面进行堆叠。1.3 参数列表tensors
转载
2024-07-09 04:46:21
39阅读
Pytorch自动求导与逻辑回归1. 自动求导 torch.autograd1.1 torch.autograd.backward1.2 torch.aurograd.grad2. 逻辑回归(线性二分类模型)3. 机器学习模型训练步骤 1. 自动求导 torch.autograd1.1 torch.autograd.backward# torch.autograd.backward() 功能：
转载
2024-10-04 11:31:01
70阅读
# PyTorch复合求导指南
作为一名经验丰富的开发者，我很乐意帮助你学习如何通过PyTorch实现复合求导。在本文中，我将向你介绍整个过程，并提供每个步骤所需的代码和注释。
## 复合求导的流程
复合求导是指在计算图中进行多次自动求导操作。下面是一份简单的步骤表格，可以帮助你理解整个过程。
| 步骤 | 代码
原创
2023-07-31 08:42:45
115阅读
# Pytorch 自动求导指南
在深度学习中，自动求导是训练模型的核心部分。使用 Pytorch 可以很方便地实现这一点。本文将通过一个实例，带您了解如何在 Pytorch 中使用自动求导功能。我们将分步进行，确保逐步分析每个环节，并给出相应的代码示例。
## 自动求导流程
以下是实现 Pytorch 自动求导的一般流程：
```mermaid
flowchart TD
A[开始]
原创
2024-10-17 12:28:24
51阅读
Torch.autograd在训练神经网络时，我们最常用的算法就是反向传播（BP）。参数的更新依靠的就是loss function针对给定参数的梯度。为了计算梯度，pytorch提供了内置的求导机制 torch.autograd，它支持对任意计算图的自动梯度计算。计算图是由节点和边组成的，其中的一些节点是数据，一些是数据之间的运算计算图实际上就是变量之间的关系tensor 和 function 互
转载
2024-07-11 10:07:53
67阅读
导数是人工智能、神经网络的基础，正向传播、反向传播无不依赖于导数，导数也是高数的基础，本文算是一个半学习半理解加非科班的学习过程吧导数(Derivative)，也叫导函数值。又名微商，是微积分中的重要基础概念。当函数y=f(x)的自变量x在一点x0上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a即为在x0处的导数，记作f'(x0)或df(x0)/d
转载
2024-09-26 20:11:23
45阅读
# -*- coding: utf-8 -*-# -*- coding: utf-8 -*-import torchimport mathdtype = torch.floatdevice = torch.device("cpu")# device = torch.device("cuda:0") # Uncomment this to run on GPU# Create Tensors to hold input and outputs.# By default, require
原创
2023-01-13 09:09:46
88阅读
import torchimport mathdtype = torch.floatdevice = torch.device("cpu")# device = torch.device("cuda:0") # Uncomment this to run on GPU# Create random input and output datax = torch.linspace(-math.pi, math.pi, 2000, device=device, dtype=dtype)y =
原创
2023-01-13 09:09:47
82阅读
# PyTorch 手动求导的基础与应用
在深度学习中，自动求导是一个核心概念。PyTorch 是一个流行的深度学习框架，它为我们提供了强大的自动求导功能。在许多情况下，理解求导的原理和手动求导的过程能够帮助我们更深刻地理解模型的训练过程和优化算法。本文将对 PyTorch 的手动求导进行探讨，并提供代码示例。
## 什么是导数？
导数在数学中表示的是一个函数的变化率，简单来说，就是当输入发
原创
2024-10-21 07:16:56
88阅读
pytorch 的自动求导功能简介一、反向传播算法简介二、pytorch 的自动求导功能1. 前言2. 我们需要自动求导机制做什么3. 一个简单的例子4. 模型训练过程中使用自动求导(略)5. 关闭和打开自动求导6. 自动求导和原地替换操作7. 自动求导的性能分析器(略)8. 高阶话题：关于自动求导更多的细节9. 高级 API 自动求导是 pytorch 的一项重要功能，它使得 pytorch
转载
2024-01-29 22:25:36
151阅读
