关于 Pytorch 的 nn.torch.Conv2d 的记录与理解.CLASS torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)假设 Conv2d 的输入 input 尺寸为 (N,Cin,Hin,Win)
转载
2024-01-29 15:14:14
41阅读
文章目录前言一、数据集预处理二、读取和加载步骤1.继承Dataset2.构造自己的Dataset3.load数据集总结 前言最近在做李沐发布的Kaggle树叶分类竞赛，在处理和加载Classify-Leaves数据集的时候遇到了一些问题，真是巧妇难为无米之炊啊，现在记录下来，希望可以帮助到更多的初学者！一、数据集预处理数据集由一个images文件和三个csv文件组成 打开train.csv文件可
转载
2023-10-16 00:44:47
270阅读
tensor分为头信息区（Tensor）和存储区（Storage）信息区主要保存着tensor的形状（size）、步长（stride）、数据类型（type）等信息，而真正的数据则保存成连续数组，存储在存储区因为数据动辄成千上万，因此信息区元素占用内存较少，主要内存占用取决于tensor中元素的数目，即存储区的大小 一般来说，一个tensor有着与之相对应的storage，st
NLP FROM SCRATCH: CLASSIFY NAMES WITH A CHARACTER-LEVEL RNN我们将建立和训练一个基于字符级的RNN模型，用来分类words。本教程将展示如何从零开始预处理数据，然后构建NLP模型。特别是没有使用torchtext的一些功能情况下，如何用底层模块进行NLP建模前的预处理工作。基于字符级的RNN模型，以a series of character
转载
2024-05-08 11:25:10
57阅读
一. SyncBN1.1 什么是SyncBNSyncBN就是Batch Normalization(BN)。其跟一般所说的普通BN的不同在于工程实现方式：SyncBN能够完美支持多卡训练，而普通BN在多卡模式下实际上就是单卡模式。 BN中有moving mean和moving variance这两个buffer，这两个buffer的更新依赖于当前训练轮次的batch数据的计算结果。但是在普通多卡D
转载
2023-09-05 14:38:11
215阅读
本期目录1. 背景1.1 各领域常用库1.2 CIFAR10简介2. 数据集2.1 加载并正则化CIFAR10数据集2.2 训练集可视化3. 定义卷积神经网络4. 定义损失函数和优化器5. 训练模型6. 保存模型参数7. 测试7.1 测试集可视化7.2 加载模型参数8. 多卡训练 1. 背景 1.1 各领域常用库 在深度学习的实战中，通常要处理各种类型的数据，例如图片、文本、声音和视频。我
转载
2024-08-05 22:14:36
43阅读
刚开始学AI，几乎没用过Python，听说PyTorch发展不错，且比TensorFlow更容易上手，调试也更简单，那就PyTorch吧。在PyTorch官网文档指导下，安装好了PyTorch，接着就看官网的，这篇tutorial写得很不错，文字部分基本都能理解，但是到了第一个例子，虽然是及其简单的AI示例，但我看代码还是感觉吃力，又查了不少资料，才大概理解，这里就算是做了个笔记和总结吧。示例代码
转载
2023-10-12 13:44:54
95阅读
很多真实数据的维度经常更高。例如，彩色图像在高和宽2个维度外还有RGB（红、绿、蓝）3个颜色通道。假设彩色图像的高和宽分别是和（像素），那么它可以表示为一个的多维数组。我们将大小为3的这一维称为通道（channel）维。本节我们将介绍含多个输入通道或多个输出通道的卷积核。1. 多输入通道当输入数据含多个通道时，我们需要构造一个输入通道数与输入数据的通道数相同的卷积核，从而能够与含多通道的输入数据做
转载
2023-10-08 08:38:42
90阅读
API更改torch.range被弃用，赞成torch.arange与numpy和python范围一致。在稀疏的传感器上，contiguous更名为现在，coalesce并且coalesce现在已经不合适。 （提醒Sparse API仍然是实验性和演进性的，所以我们不提供后向兼容性）。
新功能
新层次和功能torch.topk现在支持所有CUDA类型，不只是torch.cud
转载
2023-10-23 10:25:10
25阅读
文章目录绪论1. PyTorch基础2. 人工神经网络和反向传播3. 动态计算图（dynamic computational graph）4. 反向函数（Backward()）5. 数学：雅可比和向量 绪论本人在学PyTorch，对它的计算图产生疑惑。后学习国外一篇博文后，感觉收获颇丰，故转载翻译而来。本文将会主要关注PyTorch计算图相关和autograd类的backward等方面。 图1
转载
2024-03-04 21:24:03
81阅读
1. 什么是Pytorch，为什么选择Pytroch？ PyTorch是一个基于Torch的Python开源机器学习库，用于自然语言处理等应用程序。 它主要由Facebook的人工智能研究小组开发。Uber的"Pyro"也是使用的这个库。PyTorch是一个Python包，提供两个高级功能：具有强大的GPU加速的张量计算（如NumPy）包含自动求导系统的的深度神经网络。 为什么选择PyTorch？
转载
2023-08-07 02:02:51
111阅读
pytorch学习笔记（六）——pytorch进阶教程之合并与分割目录tensor的加减乘除----add/sub/mul/divtensor的矩阵相乘----mm,matmul/@2d以上的tensor矩阵相乘tensor的次方----pow/sqrt/rsqrt/exp/logtensor的其他运算----floor/ceil/round/trunc/fractensor的其他运算----c
转载
2023-10-08 09:01:32
104阅读
莫烦PyTorch教程笔记整理 文章目录一、PyTorch神经网络基础1.Torch和Numpy2.变量2.激励函数二、搭建简单的神经网络1.回归2.分类3.搭建网络的两种方法4.模型的保存和提取5.批训练 一、PyTorch神经网络基础1.Torch和NumpyTorch中的tensor与Numpy中的数组非常类似，二者的基本操作类似，可以相互转换： 将Numpy数组转换为Torch的tenso
转载
2023-10-08 16:38:36
191阅读
1、Batch Normalization概念Batch Normalization：批标准化批： 一批数据，通常为mini-batch标准化： 0均值，1方差优点：可以用更大学习率，加速模型收敛；可以不用精心设计权值初始化；可以不用dropout或较小的dropout；可以不用L2或者较小的weight decay；可以不用LRN（local response normalization局部响应
转载
2023-09-27 06:46:24
19阅读
文章目录1. 前言2. 安装和使用Pytorch 2.03. 结语 1. 前言Pytorch2.0和GPT4、文心一言同一时间段发布，可谓是热闹至极，我看了看Pytorch 2.0的文档，一句话概括下，2.0的功能介绍，核心就是torch.compile：opt_module = torch.Compile(module)加入这行代码就能优化你的模型，优化后的模型和往常使用方式一样，推理速度会提
转载
2024-01-27 20:09:23
94阅读
整个代码分两个阶段第一阶段的识别是YOLOv5来实现的第二阶段是追踪，由Deep Sort算法来实现。再次基础上进行了计数代码地址：https://github.com/dongdv95/yolov5/tree/master/Yolov5_DeepSort_Pytorch把代码git下来git clone https://github.com/dongdv95/yolov5/tree/master
转载
2024-08-12 14:22:50
54阅读
【深度学习-图像分类篇】Pytorch搭建EfficientNe图像分类网络1、理论基础1.1 EfficientNet网络简析EfficientNet 网络结构的改进之处EfficientNet不同模型的参数取值论文中不同 EfficientNet 模型的性能对比分析：EfficientNet-B0 baseline network 网络结构关于 MBConv 简析SE 注意力机制模块2、网络
转载
2023-12-18 10:29:23
143阅读
目 录1. 网络概述与效果2. 网络研究背景3. EfficientNet-B0网络结构3.1 MBConv3.2 SE模块3.3 网络参数设置4. 利用Pytorch实现EfficientNet4.1 注意力模块4.2 MBConv模块的具体实现4.3 搭建EfficientNet5 训练结果1. 网络概述与效果该网络的论文是Google在2019年发表的文章，作
转载
2023-10-20 19:07:30
163阅读
1.torch.autogradAutograd是python中的自动求导库 PyTorch 作为一个深度学习平台，在深度学习任务中比 NumPy 这个科学计算库强在哪里呢？一是 PyTorch 提供了自动求导机制，二是对 GPU 的支持。由此可见，自动求导 (autograd) 是 PyTorch，乃至其他大部分深度学习框架中的重要组成部分。2.torch.optimtorch.optim模块中
转载
2023-11-30 18:01:24
76阅读
先上结论：parameter在反向传播会被optimizer.step更新，buffer在反向传播不会被更新parameter和buffer都被保存在model.state_dict()返回的OrderedDict中（这也是模型保存的对象）模型进行设备移动时，模型中注册的参数(parameter和buffer)，即model.state_dict()中的内容会同时进行移动咱来解释一下！ 文章目录先
转载
2023-07-04 14:06:44
106阅读
