文章目录0. 前言1. 建议在看这个文当前，先看看下面三个文档1.1. PyTorch Distributed Overview1.2. DistributedDataParallel API documents1.3. DistributedDataParallel notes2. DataParallel 和 DistributdDataParalle 对比3. 基本使用4. 其他4.1.
转载
2023-11-20 11:43:09
59阅读
Why transforms?一般情况下收集到的图像样本在尺寸，亮度等方面存在差异，在深度学习中，我们希望样本分布是独立同分布的，因此需要对样本进行归一化预处理。有时候只能获取到少量的样本数据，获取数量较多的样本不容易。但是样本数量太少训练的模型精度会比较低，为了解决这样的问题，往往需要做数据增加data arguement， 数据增加的途径就是通过一些变换达到目的。pytorch中的transf
转载
2023-09-22 13:10:41
62阅读
点击pytorch选择你需要的配置，复制run this command后面的内容，在命令行里面运行 step1:打开anaconda prompt step2:激活虚拟环境conda activate py38(虚拟环境的名字)step3:输入run this command后面的内容，回车运行（忘记截图了） 在这个过程中可能出现各种问题，可以尝试切换镜像源，反复尝试 我也安装了整整一天才搞好，
转载
2023-10-09 00:00:06
120阅读
# 《PyTorch官方教程中文版》， PyTorch之小试牛刀
# PyTorch的核心之一：张量，类似于numpy，但可以在GPU上运行
# 在介绍PyTorch之前，本章节将首先使用numpy实现网络
# 代码解读参考：
import numpy as np
import torch
# N是批大小; D_in是输入维度; H是隐藏的维度; D_out是输出维度。
N, D_in,
转载
2023-11-25 13:26:33
112阅读
目 录1. 网络概述与效果2. 网络研究背景3. EfficientNet-B0网络结构3.1 MBConv3.2 SE模块3.3 网络参数设置4. 利用Pytorch实现EfficientNet4.1 注意力模块4.2 MBConv模块的具体实现4.3 搭建EfficientNet5 训练结果1. 网络概述与效果该网络的论文是Google在2019年发表的文章，作
转载
2023-10-20 19:07:30
163阅读
Caffe 的通道顺序是NCHW;Tensorflow的通道顺序默认是NHWC（但可以设置成NCHW），NHWC 的访存局部性更好（每三个输入像素即可得到一个输出像素），NCHW 则必须等所有通道输入准备好才能得到最终输出结果，需要占用较大的临时空间。TensorFlow 为什么选择 NHWC 格式作为默认格式？因为早期开发都是基于 CPU，使用 NHWC 比 NCHW 稍快一些（不难理解，NHW
转载
2023-07-27 18:38:27
2792阅读
本教程通过自包含的示例介绍PyTorch的基本概念。在其核心，PyTorch提供了两个主要特性：一个n维张量，类似于numpy，但可以在gpu上运行自动区分建立和训练神经网络我们将使用一个全连接的ReLU网络作为运行示例。网络将有一个单独的隐藏层，并通过梯度下降训练来匹配随机数据，使网络输出与真实输出之间的欧氏距离最小化。TensorsWarm-up: numpy在介绍PyTorch之前，我们将首
转载
2023-12-07 07:24:03
74阅读
先上结论：parameter在反向传播会被optimizer.step更新，buffer在反向传播不会被更新parameter和buffer都被保存在model.state_dict()返回的OrderedDict中（这也是模型保存的对象）模型进行设备移动时，模型中注册的参数(parameter和buffer)，即model.state_dict()中的内容会同时进行移动咱来解释一下！ 文章目录先
转载
2023-07-04 14:06:44
106阅读
【深度学习-图像分类篇】Pytorch搭建EfficientNe图像分类网络1、理论基础1.1 EfficientNet网络简析EfficientNet 网络结构的改进之处EfficientNet不同模型的参数取值论文中不同 EfficientNet 模型的性能对比分析：EfficientNet-B0 baseline network 网络结构关于 MBConv 简析SE 注意力机制模块2、网络
转载
2023-12-18 10:29:23
143阅读
最近在鼓捣使用pytorch的distributeddataparallel这个API搭一个数据并行的训练测试任务，过程中遇到了一个问题，做一下记录。1、问题 使用DDP打包了一个模型训练了一段时间，loss不断下降metric不断上升，一切都是很正常的现象。当因为意外暂停或者手动暂停更改学习率而停止了程序，再开启程序加载之前的checkpoint继续训练，却发现loss突然比之前上升或者m
转载
2023-12-06 19:26:50
58阅读
pytorch torchvision.transforms.RandomResizedCrop 方法解读1. 包含功能：(1) Crop：随机大小和随机宽高比的裁剪，且随机的范围可以指定。(2) Resize： Resize到指定的大小。先进行随机大小和随机宽高比的Crop操作，再对Crop出来的区域进行Resize操作。2. 参数介绍下面使用的元组不是指的Python的tu
转载
2023-12-04 13:14:36
76阅读
1.torch.autogradAutograd是python中的自动求导库 PyTorch 作为一个深度学习平台，在深度学习任务中比 NumPy 这个科学计算库强在哪里呢？一是 PyTorch 提供了自动求导机制，二是对 GPU 的支持。由此可见，自动求导 (autograd) 是 PyTorch，乃至其他大部分深度学习框架中的重要组成部分。2.torch.optimtorch.optim模块中
转载
2023-11-30 18:01:24
76阅读
文章目录1.PyTorch入门第一步1.1Tensor1.2 Autograd：自动微分1.3 神经网络1.3.1 定义网络1.3.2 损失函数1.3.3 优化器1.3.4 数据加载与预处理1.4 小试牛刀：CIFAR-10分类1.4.1 CIFAR-10数据加载及预处理 操作系统：Win10家庭版 陈老师在介绍里讲不建议只能使用Windows环境的人学习他这本书，可我看了几页发现真的好适合
转载
2023-07-10 23:08:26
126阅读
GMF模型1.从深度学习的视角可以理解为矩阵分解模型，其中矩阵分解层的用户隐向量和物品隐向量可以看做是一种Embedding方法，然后将Embedding后的向量进行点积 最后通过一个线性层输出 2.模型结构如下 所以输入的模型中的数据有num_users（user的数量），num_items（item的数量），embed_dim(Embedding的维度)模型需要输入的数据inputs里面应该为
转载
2023-11-26 10:58:13
92阅读
DQN（Deep Q Network）DQN可以使计算机玩游戏比人类厉害，Q-learning和Deep-learning的融合当游戏的状态和动作多种多样，多到天文数字的时候，如果用表格来存储的话，显然不切实际，如果用到神经网络就是给出一个状态和动作，通过神经网络，得到这个状态和动作下的value；也可以经过一个状态，通过神经网络，得到不止一个对应的values + op —> value1
转载
2023-12-31 16:36:33
119阅读
文本嵌入预训练模型Glove1.词嵌入预训练模型2.Glove3.求近义词和类比词1.文本嵌入预训练模型虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量，并能一定程度上地保存词与词之间的近似关系，但 Word2Vec 模型仍不是完美的，它还可以被进一步地改进：子词嵌入（subword embedding）：FastText 以固定大小的 n-gram 形式将单词更细致地表示为了
转载
2023-12-06 17:05:29
63阅读
1、正则化与偏差-方差分解Regularization：减小方差的策略；误差可分解为偏差，方差与噪声之和，即误差=偏差+方差+噪声之和；偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界；该模型在测试集的效果比较差，这
转载
2023-11-09 14:21:23
52阅读
backward函数官方定义：torch.autograd.backward(tensors, grad_tensors=None, retain_graph=None, create_graph=False, grad_variables=None)Computes the sum of gradients of given tensors w
转载
2024-08-20 17:29:17
55阅读
介绍我们本次实现的目标是将本地的图像分类或者目标检测等等深度学习算法部署成web在线预测的形式。效果图如下，在线图像分类网站 大概的设计是有五个可以选择的模型，第二步是可以选择一些照片用来测试分类，同样可以自己本地上传一些照片，最后输出分类的结果和FPS。调试好本地的web之后就部署在服务器上。代码部分环境安装推荐使用conda下载安装环境，安装命令如下,这里推荐使用python3.7-3.9，为
转载
2023-10-30 13:56:00
117阅读
代码已同步到Github：https://github.com/EasonCai-Dev/torch_backbones1 论文关键信息论文链接:ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design论文主要提出了ShuffleNet-v2的轻量级网络结构，并针对如今CNN网络常用的深度分离卷积（depth
转载
2023-09-17 10:24:46
166阅读
