PyTorch中对tensor的很多操作如sum,softmax等都可以设置dim参数用来指定操作在哪一维进行。PyTorch中的dim类似于numpy中的axis。dim与方括号的关系创建一个矩阵a = torch.tensor([[1, 2], [3, 4]])
print(a)输出：tensor([[1, 2],
[3, 4]])因为a是一个矩阵，所以a的左边有2个括号括号之
转载
2023-07-28 14:41:42
212阅读
文章目录7.7 torch.ceil() 函数7.8 torch.floor() 函数7.9 torch.clamp() 函数7.10 torch.neg() 函数7.11 torch.reciprocal() 函数7.12 torch.rsqrt() 函数7.13 torch.sqrt() 函数 7.7 torch.ceil() 函数在PyTorch中，torch.ceil 函数用于对张量（t
卷积神经网络 训练数据的方法就是会给计算机提供每种类别 的图片，让机器自己去学习其中的特征并形成一个算法，因为这些算法是依赖于数据集的，所以也被称为是数据驱动的算法。卷积神经网络的原理 1.局部性 往往图片的的类别是通过图片的特征来决定的，而这些决定一般是由一些局部的区域决定的。2.相同性 对于不同的图片，如果有同样的特征，这些特征会出现在图片的不同位置，也就是说可以用同样的检测模式去检测不同图片
转载
2023-12-07 00:06:45
126阅读
梯度定义： 数学（高数）：标量场的梯度是一个向量场。意义：沿着梯度方向，函数变化最快，最大变化率是梯度的大小。（高数的学习）某一点梯度：在该点对各变量求梯度。 反映到tensor上直观的来讲就是：对Tensor通过某个运算得到的标量结果求梯度的结果是一个同型的tensor注意事项： 1.dtype必须是浮点数 2.梯度的求解对象： 一般只能对标量场或者一维向量（可以被视为标量）求梯度。即只能对某一
转载
2023-09-19 12:13:20
125阅读
# PyTorch DataLoader的底层实现
在进行深度学习训练时，我们通常会使用数据集来训练模型。PyTorch提供了一个高效的工具——`DataLoader`，用于批量加载数据。在本文中，我们将深入探讨`DataLoader`的底层实现，包括一些基本概念和简单的代码示例，帮助大家更好地理解这一强大工具。
## DataLoader基本概念
`DataLoader`是一个迭代器，可以
原创
2024-08-21 08:16:33
198阅读
整理一下pytorch获取的流程：创建Dataset对象创建DataLoader对象，装载有dataset对象循环DataLoader对象，DataLoader.__iter__返回的是DataLoaderIter对象dataset = MyDataset()
dataloader = DataLoader(dataset)
num_epoches = 100
for epoch in range
转载
2024-10-27 19:25:37
49阅读
# 理解 PyTorch Tensor 的底层机制
在学习 PyTorch 之前，理解其底层 Mechanism 是非常重要的，特别是 PyTorch 中的 Tensor。Tensor 是 PyTorch 的基本数据结构，与 NumPy 数组有很多相似之处，但是它们也有独特的特性。以下我将为你提供一个完整的流程，帮助你理解 PyTorch Tensor 的底层机制。
## 流程步骤
| 步骤
精彩内容不迷路机器之心报道广受人们欢迎的深度学习框架 PyTorch 刚刚更新了 1.10 正式版，在 CUDA Graphs API 等方面进行了诸多改进。PyTorch 是一个开源的 Python 机器学习库，基于 Torch，底层由 C++ 实现，主要应用于人工智能领域，如自然语言处理，它最初由 Facebook 的人工智能研究团队开发。由于 PyTorch 定义网络结构简单等特点，自发布以
转载
2023-12-25 19:24:22
66阅读
前言本文主要用pytorch对线性函数进行拟合，主要用到底层原理中的梯度下降与反向传播。正文代码相关知识（下面是自己写的注意点，可能有些大家一知半解，可以看视频讲解）： 1、requires_grad表示变量后面是否需要计算梯度，正常情况下是False 2、反向传播能得到梯度，而x.grad可以获取某个导数值，也就是梯度 注：一般我们用损失函数进行反向传播，并且w.grad当required_gr
转载
2023-11-29 05:15:33
65阅读
如有错误，请不吝指出。pytorch源码注释，欢迎 pr，提 issue 和 star当我们使用 pytorch 的 python 的接口编写代码的时候，感觉是十分清爽的，不需要考虑底层的实现。但是好奇心驱使我们 想一探究竟，看看底层 C/C++ 那部分到底做了什么。本篇文章主要专注于：
pytorch 是如何动态构建反向传导图的
pytorch 的反向传导是怎么操作的pytorch 是如何构建反
转载
2023-11-27 05:38:23
77阅读
作者 | 郁振波最近刚开始用pytorch不久，陆陆续续踩了不少坑，记录一下，个人感觉应该都是一些很容易遇到的一些坑，也在此比较感谢帮我排坑的小伙伴，持续更新，也祝愿自己遇到的坑越来越少。首先作为tensorflow的骨灰级玩家+轻微强迫症患者，一路打怪升级，从0.6版本用到1.2，再用到1.10，经历了tensorfow数个版本更迭，这里不得不说一下tf.data.dataset+tf
在前面的理论讲解和网络实现中，我们断断续续的学习了 Tensorflow 和 keras 两个著名的深度学习框架。当然主要还是 Tensorflow，keras 的底层计算都是以 Tensorflow 为后端的。在正式进入下一环节的学习前，笔者先给 pytorch 入个门，至于系统的学习，还是需要依靠各
转载
2024-01-04 19:23:03
53阅读
PyTorch是一个强大的深度学习框架，广泛应用于计算机视觉和自然语言处理等领域。而在这些任务中，交叉熵损失函数通常是最重要的组成部分之一。本文将深入探讨PyTorch中交叉熵的底层代码实现，我们将通过理论分析、架构解析、源码分析及案例分析等方式详细记录这个过程。
## 背景描述
在机器学习，尤其是分类任务中，交叉熵损失函数常用于评估模型的预测与真实标签之间的差异。以下是处理交叉熵的基本流程：
学习 PyTorch 比较简单，但你能学习 PyTorch 内部机制吗？最近，有 14 年 ML 经验的大神 Christian 介绍了 PyTorch 的内核机制。虽然在实际使用中并不需要这些知识，但探索 PyTorch 内核能大大提升我们对代码的直觉与理解，挖底层实现的都是大神~PyTorch 的构建者表明，Pytorch 的哲学是解决当务之急，也就是说即时构建和运行我们的计算图。这恰好适合
转载
2024-02-16 22:49:42
58阅读
第一章：Python入门一、语言什么是语言：人与人之间的沟通计算机语言：计算机语言，即人和计算机之间的沟通语言。按照级别分类：机器语言：最底层，最低级的语言，只能识别0/1，电平信号汇编语言：计算机指令（add a-b, sub 2 1）高级语言: C、C++、Java、Python，偏向人的语言计算机语言的执行方式：编译执行：解释执行：Python,相当于翻译官（解释器IDE）,好处---以跨
转载
2024-03-13 09:47:07
40阅读
关于张量的底层存储逻辑这一部分看的我有点头大，但是了解底层实现确实有助于理解tensor中的各种运算到底是怎么一个回事，当然大部分时间我们可以不太会用到这些存储操作，但是熟悉这些底层实现，我觉得一方面可以帮我屏蔽一些开发上的bug，或者说在查bug的时候会往这个方面思考；再一个就是如果真的有需要做比较硬核的优化的时候也能够有点想法。张量的存储前面我们说过，张量的存储空间是连续的，最开始我可能以为存
转载
2023-08-01 14:56:46
153阅读
今天这篇文章和大家聊聊机器学习领域的熵。 我在看paper的时候发现对于交叉熵的理解又有些遗忘，复习了一下之后，又有了一些新的认识。
故写下本文和大家分享。
熵这个概念应用非常广泛，我个人认为比较经典的一个应用是在热力学当中，反应一个系统的混乱程度。 根据热力学第二定律，一个孤立系统的熵不会减少。
比如一盒乒乓球，如果把盒子掀翻了，乒乓球散出来，它的熵
作者丨Frank Odom
本篇文章从卷积的定理介绍、Pytorch的实现以及测试方面对傅立叶卷积提供了详尽的介绍，文章在Pytorch的实现部分进行了非常详细的讲解并附有相关的代码。文末最后还附有作者对卷积与互相关证明。>>加入极市CV技术交流群，走在计算机视觉的最前沿卷积卷积在数据分析中无处不在。几十年来，它们已用于信号和图像处理。最近，它们已成为现代神经网络的重要组成
1. 引言分布式训练就是指将模型放置在很多台机器并且在每台机器上的多个GPU上进行训练，之所以使用分布式训练的原因一般来说有两种：其一是模型在一块GPU上放不下，其二使用多块GPU进行并行计算能够加速训练。但是需要注意的是随着使用的GPU数量增加，各个设备之间的通信会变得复杂，导致训练速度下降。一般来说，分布式训练主要分为两种类型：数据并行化 (Data Parallel) 以及模型平行化（Mod
转载
2023-12-02 21:13:23
75阅读
卷积操作略输入输出尺寸变化略PyTorch实现nn.Conv2d(in_channels,
out_channels,
kernel_size,
stride=1.
padding=0,
dilation=1,
groups=1,
bias=True,
转载
2023-09-03 16:02:39
237阅读
