根据网上常见的用循环网络编写正余余弦函数预测的例子，探讨下最新新学的循环神经网络RNN，主要是编程实现上的困惑。首先是我定义的RNN：import torch
import torch.nn as nn
class RNN_net(nn.Module):
def __init__(self):
super(RNN_net, self).__init__()
PyTorch–模型剪枝案例一、基础知识：1.模型剪枝： 通俗理解就是将神经网络某些冗余连接层的权重置为0，使得模型更加具有稀疏化，从而提升模型性能下图通过掩码图，根据掩码图对应权重矩阵将对应位置上的值替换为0。2.模型剪枝的方式：剪枝可以分为非结构剪枝和结构剪枝：非结构剪枝：如下图（左）：神经元的个数不变，将某些神经元的部分连接权重置为零（虚线部分）结构剪枝：如下图（右）：神经元的个数不变，将某
转载
2023-12-15 06:32:47
171阅读
如何使用PyTorch实现模型
## 引言
PyTorch是一个用于构建深度学习模型的开源框架，它提供了丰富的工具和库，帮助开发者更高效地实现和训练各种深度学习模型。本文将介绍使用PyTorch实现模型的步骤和必要的代码。
## 流程
下面是使用PyTorch实现模型的整个流程：
```mermaid
flowchart TD
A[数据准备] --> B[定义模型]
B
原创
2024-01-15 05:40:41
164阅读
PyTorch学习笔记（13）–现有网络模型的使用及修改 本博文是PyTorch的学习笔记，第13次内容记录，主要介绍如何使用现有的神经网络模型，如何修改现有的网络模型。 目录PyTorch学习笔记（13）--现有网络模型的使用及修改1.现有网络模型2.现有模型的使用2.1VGG16模型的结构2.2修改现有VGG16模型的结构3.学习小结 1.现有网络模型 在现有的torchvisio
转载
2023-09-08 11:34:48
593阅读
PyTorch是一个针对深度学习，并且使用GPU和CPU来优化的tensor library(张量库)。最新发布的稳定版本为1.9，源码在https://github.com/pytorch/pytorch 。它支持在Linux、Mac和Windows上编译和运行。调用Python接口可以通过Anaconda或Pip的方式安装，调用C++接口
转载
2023-08-14 15:21:08
198阅读
！阅读大概需要11分钟跟随小博主，每天进步一丢丢作者 | hyk_19961. nn.Module.cuda() 和 Tensor.cuda() 的作用效果差异无论是对于模型还是数据，cuda()函数都能实现从CPU到GPU的内存迁移，但是他们的作用效果有所不同。对于nn.Module:model = model.cuda()
model.cuda()上面两句能够达到一样的效果，即对m
转载
2023-08-21 20:43:09
121阅读
文章目录1.对transformers的简单介绍1.1序列数据的介绍（seq2seq）1.2self-Attention1.3 transformer的完整结构2.transformers在图像分类上的pytorch代码2.1加载cifar10数据集2.2构建transformers模型2.2.1构建图像编码模块 Embeddings2.2.3构建前向传播神经网络模块2.2.4构建编码器的可重复
转载
2023-11-27 06:23:38
975阅读
本文主要介绍了Pytorch分布式的一些常见错误，避免大家踩坑Distributed加载参数有一个坑是使用分布式计算的时候，每张卡的内存分配都应该是均匀的，但是有时候会出现0卡占用更多内存的情况，这个坑在知乎上有讨论：链接分布式本身的内存分配应该是均匀的（左图），但是有时候会出现另一种情况（有图）这是load模型的时候导致的，当用下面句子load模型时，torch.load会默认把load进来的数
转载
2023-12-25 13:14:29
1013阅读
用conda install时报错：An HTTP error occurred when trying to retrieve this URL. HTTP errors are often intermittent…我要做的事： 想使用torchinfo包，但是这个包可能是比较新，我的pytorch版本比较旧，所以引包的时候会报错，所以需要更新pytorch嘛，结果网上随意下载包时，更新换代了
转载
2023-11-01 19:40:22
871阅读
我们使用一个很经典的数据集Cifar10，而该数据集可以直接通过Pytorch内置函数获取到。一、导入所需的库import torch ## pytorch
import torchvision ## 迁移学习模型和许多其他视觉相关类
from torch import nn ## Pytorch核心神经网络模型类
from torch import optim ## 包含几个Pytorch优化器
转载
2023-11-20 10:20:45
82阅读
pytorch的安装首先扫盲常用的pip和这里的conda有什么不一样：pip 和 conda 什么区别？先跟着这个win10 安装 pytorch，安装conda、cuda和cuDNN。然后参照win10离线安装pytorch和torchvision进行离线安装命令行输入nvidia-smi查看cuda版本，在官网pytorch的pip选项查看自己需要下载的包在这里下载上图中对应离线包
打开命令
转载
2023-09-25 13:06:40
137阅读
作者：Facebook编译：ronghuaiyang 导读 Facebook刚刚发布了PyTorch的最新版本，PyTorch1.1.0，这是自从发布PyTorch1.0以来的又一个重大的更新。Facebook刚刚发布了PyTorch的最新版本，PyTorch1.1.0，这是自从发布PyTorch1.0以来的又一个重大的更新，在这个版本中，最最显眼的一个更新就是官方支持TensorBoard了
转载
2023-12-27 22:20:53
126阅读
在之前课程中，我们已经熟悉了 PyTorch 中 transforms 的运行机制，它提供了大量的图像增强方法，例如裁剪、旋转、翻转等等，以及可以自定义实现增强方法。本节课中，我们将进一步学习 transforms 中的图像增强方法。1. 数据增强数据增强 (Data Augmentation) 又称为数据增广、数据扩增，它是对 训练集&
转载
2023-11-15 22:51:39
144阅读
SuperPoint该论文是 magic leap 公司在18年的一篇工作，而且提供了代码，基于 pytorch 的，不过遗憾的是训练代码和相应的渲染的训练数据没提供。主要思路本文提出了一个自监督的方式去训练网络来提取特征点以及计算描述符。基本流程整体框架整体框架如下图，下面会abc三个步骤分别介绍：特征点提取预训练如果要使用有监督的深度学习方案来解决该问题，不同于其他传统的像分类、检测和分割这样
转载
2023-11-03 09:09:02
811阅读
目录 pytorch学习numpy & TorchVariable激励函数回归区分类型快速搭建法模型的保存与提取批训练加速神经网络训练Optimizer优化器CNNMNIST手写数据Reference pytorch学习numpy & Torchimport torch
import numpy as np
np_data = np.arange(6).reshape((2
转载
2023-09-20 16:40:25
79阅读
1.torch.device()torch.device()主要作用是：在训练时指定使用GPU训练还是CPU训练。使用方法： # cuda:0 代表第几块GPU
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") 2.nn.ModuleList()nn.ModuleList()主要作用:我们可以把任意 n
转载
2023-09-06 17:57:01
276阅读
Training A Classifier训练一个分类器数据来源图像：一般有Pillow,OpenCV 声音：scipy和librosa 文本：row Python ,Cpython, NLTK, SpaCy pytorch对于视觉有torchvision包，包含CIFAR10,MNIST,ImageNet等数据集，本示例使用CIFAR10。 CIFAR10包含 ‘airplane’, ‘auto
转载
2024-07-08 16:17:42
89阅读
BroadcastingBroadcasting也就和之前学MPI时候学的广播一样，能够实现自动维度扩展，有点像上节学的expand的功能，但是是自动完成的，而且不需要像repeat那样对数据进行拷贝，可以节省内存。从最后面的维度开始匹配。在前面插入若干维度。将维度的size从1通过expand变到和某个Tensor相同的维度。总之，Broadcasting也就是自动实现了若干unsqueeze和
转载
2024-01-11 09:35:11
86阅读
一、概念num_workers是Dataloader的概念，默认值是0。是告诉DataLoader实例要使用多少个子进程进行数据加载(和CPU有关，和GPU无关) 如果num_worker设为0，意味着每一轮迭代时，dataloader不再有自主加载数据到RAM这一步骤（因为没有worker了），而是在RAM中找batch，找不到时再加载相应的batch。缺点当然是速度慢。当num_worker不
转载
2023-11-10 10:40:05
128阅读
目录2.1 比较大小 2.2基本运算 2.3 统计相关的计算2.4 张量的自动微分张量计算 张量的计算内容主要包括：张量之间的大小比较，张量的基本运算，如元素之间的运算和矩阵之间的运算等，张量与统计相关的运算，如排序，最大值，最小值，最大值的位置等内容。2.1 比较大小对于torch.allclose()函数，比较的是两个元素是否接近，比较A和B是否接近的公式为： ∣A − B
转载
2023-09-17 15:54:38
295阅读
