翻译自 PyTorch 官方
Blog 并添加少量修改
MMCV 自
v1.4.7 开始提供 PyTorch1.11 预编译包
前言近日，PyTorch 推出 PyTorch 1.11，本次亮点可总结为如下 ：
TorchData：一个新的用于通用模块化数据加载的库，可以轻松构建灵活、高性能的数据 pipeline
functorc
转载
2023-12-03 23:08:50
69阅读
数据处理数据对于深度学习而言是至关重要的，丰富、完整、规范的数据集往往能训练出性能优异的网络模型。本次首先介绍物体检测领域当前较为主流的公开数据集，然后从数据的加载、数据的GPU加速、数据的可视化3个方面介绍。主流公开数据集深度学习能够取得快速发展的其中一个主要原因是建立在大量数据的基础上，是用数据 “喂” 出来的。世界上一些先进的研究机构和公司开源了一些规模庞大且质量高的数据集，为研究者提供了训
转载
2023-09-06 09:23:39
48阅读
Pytorch学习笔记——合并与分割torch.cattorch.cat(tensors,dim=0,out=None)作用：torch.cat是将两个tensor拼接在一起torch.cat主要有两种用法，一种是按维数0拼接（按行拼接），另一种是按维数1拼接（按列拼接）按维数0拼接（按行拼接）example我们首先先创建两个二维张量x和y，分别是1行3列和2行3列import torch
x=t
转载
2023-10-20 18:14:07
65阅读
0 概述在深度学习中， 出于训练效率的考虑， 甚至有时候模型太大导致单个GPU卡放不下的情况， 这时候都需要用到分布式训练。 从大的方面分类， 并行训练可以分为数据并行， 模型并行以及混合并行3种。其中数据并行应用最为广泛， 也比较成熟。而模型并行目前还不够成熟， 缺乏统一的方案。本文主要介绍数据并行的方式， 并且主要关注pytorch训练框架。pytorch的并行训练主要有3种方式:DP (Da
转载
2023-11-19 09:09:57
119阅读
数据并行是指，多张 GPUs 使用相同的模型副本，但采用同一batch中的不同数据进行训练. 模型并行是指，多张 GPUs 使用同一 batch 的数据，分别训练模型的不同部分.DP数据并行在pytorch中就
转载
2023-12-26 10:44:25
118阅读
好东西先转发收藏NICE！1.美图秀秀：http://xiuxiu.web.meitu.com/刚开始做电商我就是用它来批量加水印拼图的！不光有网页版还有客户端都一样好用。 2.智图https://zhitu.isux.us/智图是腾讯ISUX前端团队开发的一个专门用于图片压缩和图片格式转换的平台，其功能包括针对png,jpeg,gif等各类格式图片的压缩，以及为上传图片自动选择最优的
## PyTorch中的分布式训练：DDP和DP
在深度学习领域，训练大规模模型时需要处理海量的数据和巨大的计算量。为了加快训练速度，可以使用分布式训练来将计算任务分配到多台机器上进行并行计算。PyTorch是一种流行的深度学习框架，提供了两种分布式训练的方式：数据并行（Data Parallelism，DP）和分布式数据并行（Distributed Data Parallelism，DDP）。
原创
2023-08-02 11:58:14
106阅读
在深度学习和计算机视觉领域，PyTorch是一个广泛使用的深度学习框架。在进行图像处理任务时，常常需要对图像进行上采样（upsample），以调整图像的尺寸。本文将探讨“PyTorch upsample怎么使用”这一主题，帮助读者更好地理解其应用及相关问题。
## 问题背景
在使用PyTorch进行计算机视觉任务时，图像的数据预处理及处理过程需要考虑图像的大小。通过对图像的上采样，可以提高模型
在现代数据科学与人工智能领域，使用 Jupyter Notebook 搭配 PyTorch 进行深度学习项目已成为一种流行的实践方式。然而，对于新手用户来说，如何将这两者有效结合，可能会面临一些挑战。以下是针对“Jupyter怎么使用PyTorch”的问题分析和解决方案，内容将涵盖从背景到验证测试的完整过程。
### 问题背景
在进行深度学习项目时，许多用户希望通过 Jupyter Noteb
学习笔记，研一用自己电脑随便配置的，只求能弄好，以后配电脑了重新配置环境时方便自己查看。默认已安装PyCharm和Anaconda(注：安装时配置好环境变量)配置思路：安装好PyCharm和Anaconda,一定要配置好环境变量根据显卡安装驱动，即：CUDA在Anaconda Prompt中创建pytorch环境在pytorch环境安装和驱动对应的pytorch库1. CUDA 右击我的
# 使用PyTorch进行GPU加速：解决实际问题
在深度学习中，计算资源的有效利用是加速模型训练的关键。PyTorch作为一个灵活并富有表现力的深度学习框架，允许用户轻松地将计算任务转移到GPU上。本文将通过一个实际的问题来演示如何使用PyTorch在GPU上进行模型训练，同时给出完整的代码示例和工作流程图示。
## 实际问题
假设我们要构建并训练一个简单的卷积神经网络（CNN），以对CI
原创
2024-08-07 08:04:04
126阅读
# PyTorch 中的 GroupNorm 使用方案
在深度学习中，归一化技术常用于加速训练，减少训练时间，同时提高模型的泛化能力。常见的归一化方法如 Batch Normalization，但是在小批量数据时，Batch Normalization 可能效果不佳。此时，Group Normalization（GroupNorm）提供了一种有效的替代方案。它通过将通道划分为若干组，并在组内进行
一. Caffe、Tensorflow的padding策略《tensorflow ckpt文件转caffemodel时遇到的坑》提到过，caffe的padding方式和tensorflow的padding方式有很大的区别，输出无法对齐。这是为什么呢？下面简单回顾一下：卷积操作输出的形状计算公式是这样的：output_shape = (image_shape-filter_shape+2*paddi
转载
2024-07-26 17:45:54
98阅读
1、过程推导 - 了解BP原理BP网络是在输入层与输出层之间增加若干层(一层或多层)神经元，这些神经元称为隐单元，它们与外界没有直接的联系，但其状态的改变，则能影响输入与输出之间的关系，每一层可以有若干个节点。BP神经网络的计算过程由正向计算过程和反向计算过程组成。正向传播过程，输入模式从输入层经隐单元层逐层处理，并转向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的
转载
2023-11-23 20:18:56
68阅读
1.输出的维度和数据集的label大小不一致RuntimeError: Assertion `cur_target >= 0 && cur_target < n_classes' failed. at C:\w\1\s\tmp_conda_3.7_055457\conda\conda-bld\pytorch_1565416617654\work\aten\src\TH
转载
2024-04-15 15:09:14
125阅读
# 如何解决“pytorch dp速度没有增加”问题
## 整体流程：
首先，我们需要了解一下“pytorch dp速度没有增加”这个问题出现的原因，然后逐步分析和解决。下面是解决这个问题的详细步骤：
```mermaid
classDiagram
class 问题
class 分析
class 解决
问题 --> 分析
分析 --> 解决
```
原创
2024-05-01 05:42:59
22阅读
1. 简介DDP（DistributedDataParallel）和DP（DataParallel）均为并行的pytorch训练的加速方法。两种方法使用场景有些许差别：DP模式 主要是应用到单机多卡的情况下，对代码的改动比较少，主要是对model进行封装，不需要对数据集和通信等方面进行修改。一般初始化如下：import torch
import torchvision
model = torch
转载
2024-03-30 22:08:51
232阅读
for batch_idx, (data, target) in enumerate(train_loader):
data, target = data.to(device, non_blocking=True), target.to(device, non_blocking=True)
第四步：保存模型
torch.save(model, ‘model_.pth’)
接下来，我们看看多显卡训练
文章目录1. 简介2. 概述2.1. 什么是GAN（生成对抗网络）2.2. 什么是DCGAN（深度卷积生成对抗网络）3. 输入4. 数据5. 实现5.1. 权重初始化5.2. 生成器5.3. 判别器5.4. 损失函数和优化器5.5. 训练5.5.1. 第一部分 - 训练判别器5.5.2. 第二部分 - 训练生成器6. 结果6.1. 损失随迭代次数的变化趋势图6.2. 可视化G的训练过程6.3. 真
转载
2023-11-03 20:42:11
186阅读
最近想充实一下自己的Pytorch版model zoo，之前由于懒。。。所以一直没加多GPU训练支持，这次打算把坑填上。Pytorch分布式训练主要支持两种形式：1）nn.DataParallel：简称DP，数据并行2）nn.parallel.DistributedDataParallel：简称DDP，分布式数据并行从原理上，DP仅支持单机多卡，而DDP（主流方法，推荐）既可用于单机多卡也可用于多
转载
2023-12-07 13:23:37
166阅读
