先上结论：parameter在反向传播会被optimizer.step更新，buffer在反向传播不会被更新parameter和buffer都被保存在model.state_dict()返回的OrderedDict中（这也是模型保存的对象）模型进行设备移动时，模型中注册的参数(parameter和buffer)，即model.state_dict()中的内容会同时进行移动咱来解释一下！ 文章目录先
转载
2023-07-04 14:06:44
106阅读
文章目录1.PyTorch入门第一步1.1Tensor1.2 Autograd：自动微分1.3 神经网络1.3.1 定义网络1.3.2 损失函数1.3.3 优化器1.3.4 数据加载与预处理1.4 小试牛刀：CIFAR-10分类1.4.1 CIFAR-10数据加载及预处理 操作系统：Win10家庭版 陈老师在介绍里讲不建议只能使用Windows环境的人学习他这本书，可我看了几页发现真的好适合
转载
2023-07-10 23:08:26
126阅读
# 《PyTorch官方教程中文版》， PyTorch之小试牛刀
# PyTorch的核心之一：张量，类似于numpy，但可以在GPU上运行
# 在介绍PyTorch之前，本章节将首先使用numpy实现网络
# 代码解读参考：
import numpy as np
import torch
# N是批大小; D_in是输入维度; H是隐藏的维度; D_out是输出维度。
N, D_in,
转载
2023-11-25 13:26:33
112阅读
点击pytorch选择你需要的配置，复制run this command后面的内容，在命令行里面运行 step1:打开anaconda prompt step2:激活虚拟环境conda activate py38(虚拟环境的名字)step3:输入run this command后面的内容，回车运行（忘记截图了） 在这个过程中可能出现各种问题，可以尝试切换镜像源，反复尝试 我也安装了整整一天才搞好，
转载
2023-10-09 00:00:06
120阅读
Caffe 的通道顺序是NCHW;Tensorflow的通道顺序默认是NHWC（但可以设置成NCHW），NHWC 的访存局部性更好（每三个输入像素即可得到一个输出像素），NCHW 则必须等所有通道输入准备好才能得到最终输出结果，需要占用较大的临时空间。TensorFlow 为什么选择 NHWC 格式作为默认格式？因为早期开发都是基于 CPU，使用 NHWC 比 NCHW 稍快一些（不难理解，NHW
转载
2023-07-27 18:38:27
2792阅读
1.torch.autogradAutograd是python中的自动求导库 PyTorch 作为一个深度学习平台，在深度学习任务中比 NumPy 这个科学计算库强在哪里呢？一是 PyTorch 提供了自动求导机制，二是对 GPU 的支持。由此可见，自动求导 (autograd) 是 PyTorch，乃至其他大部分深度学习框架中的重要组成部分。2.torch.optimtorch.optim模块中
转载
2023-11-30 18:01:24
76阅读
本教程通过自包含的示例介绍PyTorch的基本概念。在其核心，PyTorch提供了两个主要特性：一个n维张量，类似于numpy，但可以在gpu上运行自动区分建立和训练神经网络我们将使用一个全连接的ReLU网络作为运行示例。网络将有一个单独的隐藏层，并通过梯度下降训练来匹配随机数据，使网络输出与真实输出之间的欧氏距离最小化。TensorsWarm-up: numpy在介绍PyTorch之前，我们将首
转载
2023-12-07 07:24:03
74阅读
Why transforms?一般情况下收集到的图像样本在尺寸，亮度等方面存在差异，在深度学习中，我们希望样本分布是独立同分布的，因此需要对样本进行归一化预处理。有时候只能获取到少量的样本数据，获取数量较多的样本不容易。但是样本数量太少训练的模型精度会比较低，为了解决这样的问题，往往需要做数据增加data arguement， 数据增加的途径就是通过一些变换达到目的。pytorch中的transf
转载
2023-09-22 13:10:41
62阅读
【深度学习-图像分类篇】Pytorch搭建EfficientNe图像分类网络1、理论基础1.1 EfficientNet网络简析EfficientNet 网络结构的改进之处EfficientNet不同模型的参数取值论文中不同 EfficientNet 模型的性能对比分析：EfficientNet-B0 baseline network 网络结构关于 MBConv 简析SE 注意力机制模块2、网络
转载
2023-12-18 10:29:23
139阅读
目 录1. 网络概述与效果2. 网络研究背景3. EfficientNet-B0网络结构3.1 MBConv3.2 SE模块3.3 网络参数设置4. 利用Pytorch实现EfficientNet4.1 注意力模块4.2 MBConv模块的具体实现4.3 搭建EfficientNet5 训练结果1. 网络概述与效果该网络的论文是Google在2019年发表的文章，作
转载
2023-10-20 19:07:30
163阅读
pytorch torchvision.transforms.RandomResizedCrop 方法解读1. 包含功能：(1) Crop：随机大小和随机宽高比的裁剪，且随机的范围可以指定。(2) Resize： Resize到指定的大小。先进行随机大小和随机宽高比的Crop操作，再对Crop出来的区域进行Resize操作。2. 参数介绍下面使用的元组不是指的Python的tu
转载
2023-12-04 13:14:36
76阅读
最近在鼓捣使用pytorch的distributeddataparallel这个API搭一个数据并行的训练测试任务，过程中遇到了一个问题，做一下记录。1、问题 使用DDP打包了一个模型训练了一段时间，loss不断下降metric不断上升，一切都是很正常的现象。当因为意外暂停或者手动暂停更改学习率而停止了程序，再开启程序加载之前的checkpoint继续训练，却发现loss突然比之前上升或者m
转载
2023-12-06 19:26:50
58阅读
Batch Normalization是google团队在2015年论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出的。通过该方法能够加速网络的收敛并提升准确率。在网上虽然已经有很多相关文章，但基本都是摆上论文中的公式泛泛而谈，bn真正是如何运作的很少
单臂摆是强化学习的一个经典模型，本文采用了4种不同的算法来解决这个问题，使用Pytorch实现。以下是老版本，2022年9月14日新增Dueling DQN, Actor-Critic算法， SAC，更新了PPO，DDPG算法，在文末。DQN：参考：算法思想：https://mofanpy.com/tutorials/machine-learning/torch/DQN/算法实现https://p
转载
2024-05-21 07:12:48
115阅读
文本嵌入预训练模型Glove1.词嵌入预训练模型2.Glove3.求近义词和类比词1.文本嵌入预训练模型虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量，并能一定程度上地保存词与词之间的近似关系，但 Word2Vec 模型仍不是完美的，它还可以被进一步地改进：子词嵌入（subword embedding）：FastText 以固定大小的 n-gram 形式将单词更细致地表示为了
转载
2023-12-06 17:05:29
63阅读
PyTorch 1.x 常用API1. 简介1.1 ResNet模型1.2 torch.nn.Module1.2.1 torch.nn.Module.cpu()1.2.2 torch.nn.Module.cuda1.2.3 torch.nn.Module.eval()1.2.4 torch.nn.Module.state_dict1.2.5 torch.nn.Module.load_state_
转载
2024-05-16 10:28:43
186阅读
Pytorch官方教程(三)—Learning Pytorch with ExamplesPytorch 提供了两个主要特性：n 维 Tensor，类似 numpy 不过可以在 GPU 上运行构建和训练神经网络的自动微分使用全连接 ReLU 网络作为运行示例。在网络中有一个隐藏层，并通过梯度下降训练来匹配随机数据，使网络输出与真实输出之间的欧氏距离最小化。TensorsWarm-up ：nump
转载
2024-08-27 19:17:27
5阅读
介绍我们本次实现的目标是将本地的图像分类或者目标检测等等深度学习算法部署成web在线预测的形式。效果图如下，在线图像分类网站 大概的设计是有五个可以选择的模型，第二步是可以选择一些照片用来测试分类，同样可以自己本地上传一些照片，最后输出分类的结果和FPS。调试好本地的web之后就部署在服务器上。代码部分环境安装推荐使用conda下载安装环境，安装命令如下,这里推荐使用python3.7-3.9，为
转载
2023-10-30 13:56:00
117阅读
【学习笔记】Pytorch深度学习—Batch NormalizationBatch Normalization概念`Batch Normalization ``Batch Normalization 定义：“ 批标准化 ”``Batch Normalization 优点``Batch Normalization 算法分析``Batch Normalization 优点分析`***`Intern
转载
2023-10-13 12:12:01
111阅读
backward函数官方定义：torch.autograd.backward(tensors, grad_tensors=None, retain_graph=None, create_graph=False, grad_variables=None)Computes the sum of gradients of given tensors w
转载
2024-08-20 17:29:17
55阅读
