if epoch % p['epoch_size'] == p['epoch_size'] - 1:
lr_ = utils.lr_poly(base_lr=p['lr'], iter_=epoch, max_iter=nEpochs, power=0.9)
print('(poly lr policy) learning rate: ', lr_)
optimizer =
转载
2023-10-05 22:30:16
113阅读
# 使用 PyTorch 实现训练数据的流程
如果你刚入行，并想学习如何使用 PyTorch 训练数据，这篇文章将会对你非常有帮助。以下是整个过程的高层概要：
## 整体流程
| 步骤 | 描述 |
|----------|--------------------------------
原创
2024-10-25 06:10:42
4阅读
# 用Python和PyTorch生成训练数据
## 引言
在机器学习和深度学习中，生成训练数据是一个非常关键的步骤。好的训练数据可以帮助模型更好地学习和泛化。在本文中，我们将使用Python和PyTorch来生成训练数据，并演示一些常用的数据生成技术。
## PyTorch简介
PyTorch是一个基于Python的科学计算库，它提供了高级的数据结构和算法来简化深度学习任务。PyTorch的
原创
2023-12-23 09:35:21
315阅读
1. CIFAR-10是多伦多大学提供的图片数据库，图片分辨率压缩至32x32，一共有10种图片分类，均进行了标注。适合监督式学习。CIFAR10有60000张图片，其中50000张是训练集，10000张是测试集。cifar-10数据集下载链接2. torchvision包。使用torchvision可以轻松实现数据的加载和预处理。3. 使用
转载
2023-10-20 07:04:18
116阅读
在pytorch官网上的tutoral中，教程给了一个例子，训练一个分类器，下载CIFAR10数据集，用一个简单的CNNC网络训练模型。在我们下载的CIFAR10数据集中，已标签的数据被打包并封装在data文件夹里。我们可以在这个例子的基础上，把自己的数据放到其模型下，并实现一个简易的分类器。首先是配置pytorch的各种环境，有很多教程的，他们讲的又详细又好，我就不多讲啦。先导入各种模块#enc
转载
2023-06-30 16:50:29
149阅读
本文通过记录在pytorch中训练CIFAR-10数据集的一些过程，实现一个基本的数据集的分类，并在此过程中加强对图片、张量、CNN网络的理解，并尝试去总结一些训练技巧，记录一个新手对数据及网络的理解。CIFAR—10数据集CIFAR-10数据集包含10个类别的60000个32x32彩色图像，每个类别6000个图像。 有50000张训练图像和10000张测试图像。数据集地址如下：The CIFAR
转载
2023-10-23 07:01:00
158阅读
# Pytorch 数据训练指南
## 一、整体流程
首先，我们来看一下整个 Pytorch 数据训练的流程，可以通过以下表格展示：
| 步骤 | 操作 |
|------|--------------|
| 1 | 准备数据集 |
| 2 | 构建模型 |
| 3 | 定义损失函数 |
| 4 | 选择优化器 |
| 5 | 训
原创
2024-03-28 04:24:28
37阅读
pytorch搭建并训练模型的套路pytorch搭建模型一般可分为以下几个步骤：数据预处理搭建模型训练模型其中1、2无明显顺序之分。1.搭建网络pytorch为我们提供了非常方便的nn工具箱，我们搭建模型只需要定义一个继承自nn.module的类并实现其init和forward方法就可。init方法中动态绑定成员变量，forword方法中决定数据流经这些成员变量的顺序。下面是nn工具箱的结构示意图
转载
2023-08-31 15:14:44
226阅读
一、introduction不得不说pytorch的功能十分强大，其中torchvision.datasets已经内置了常用的数据集，我们也可以使用datasets.ImageFolder来加载我们自己的数据集。如果你觉得这两个方法都不能很好的加载你想要的数据集，也可以通过继承dataset类来自定义自己的数据集加载方式。本文主要介绍前两种加载数据集的方法，然后使用常见的卷积神经网络来训练并测试自
转载
2024-01-18 23:45:50
156阅读
前言在学习李沐在B站发布的《动手学深度学习》PyTorch版本教学视频中发现在操作使用PyTorch方面有许多地方看不懂，往往只是“动手”了，没有动脑。所以打算趁着寒假的时间好好恶补、整理一下PyTorch的操作，以便跟上课程。import torchvision
import torch
from torch.utils.data import DataLoader
from torch imp
转载
2024-02-27 20:48:04
354阅读
使用PyTorch从零开始实现YOLO-V3目标检测算法 (三)这是从零开始实现YOLO v3检测器的教程的第3部分。第二部分中，我们实现了 YOLO 架构中使用的层。这部分，我们计划用 PyTorch 实现 YOLO 网络架构，这样我们就能生成给定图像的输出了。 我们的目标是设计网络的前向传播本教程使用的代码需要运行在 Python 3.5 和 PyTorch 0.4 版本之上。它可以在这个G
转载
2023-08-23 20:14:42
136阅读
大部分的pytorch入门教程，都是使用torchvision里面的数据进行训练和测试。如果我们是自己的图片数据，又该怎么做呢？一、我的数据我在学习的时候，使用的是fashion-mnist。这个数据比较小，我的电脑没有GPU，还能吃得消。关于fashion-mnist数据，可以百度，也可以 点此 了解一下，数据就像这个样子： 下载地址：https://github.com/z
转载
2023-06-02 14:30:26
448阅读
大家好，这是轻松学Pytorch系列的第六篇分享，本篇你将学会如何从头开始制作自己的数据集，并通过DataLoader实现加载。本文以人脸Landmard五点的数据集标定与之制作为例来说明pytorch中如何实现自定义数据集读取与加载。数据来源首先要实现人脸landmark五点的数据标定，就得找到人脸数据，我使用的人脸数据是celebA数据集，大概有20W张多点，我从中选择了1000张，然后通过O
转载
2023-10-15 10:39:22
112阅读
pytorch使用torch.utils.data对常用的数据加载进行封装，可以实现多线程预读取和批量加载。主要包括两个方面：1）把数据包装成Dataset类；2）用DataLoader加载。
TensorDataset可以直接接受Tensor类型的输入，并用DataLoader进行加载；省去自定义的过程。官方数据集
torchvision中实现了一些常用的数据集，可以通过torchvision.
转载
2023-06-16 09:25:19
257阅读
使用Pytorch训练出的模型权重为fp32，部署时，为了加快速度，一般会将模型量化至int8。与fp32相比，int8模型的大小为原来的1/4, 速度为2~4倍。 Pytorch支持三种量化方式：动态量化（Dynamic Quantization）: 只量化权重，激活在推理过程中进行量化静态量化（Static Quantization）: 量化权重和激活量化感知训练（Quantization A
转载
2024-07-04 20:20:08
91阅读
终于到了训练的时候了，从今开始正式炼丹。 这里以 CIFAR10 数据集（常见的分类问题，共10个类别）为例，记录从准备数据集、搭建模型、训练模型的全过程，并做可视化展示。 文章目录准备数据集准备网络模型定义损失函数与优化器迭代训练过程完整代码查看结果 准备数据集train=True表示下载训练集，使用 transforms.ToTensor() 进行转化是因为计算机只能处理数字，图像也得转化为数
转载
2023-08-14 17:16:46
172阅读
pytorch模型训练函数整理——train.py一、模型训练——train.py1.1 分配硬件设备——torch.device1.2 原始数据划分——torch.utils.data.DataLoader1.3 RMSprop初始化——torch.optim.RMSprop()1.4 二分类损失函数——nn.BCEWithLogitsLoss()1.5 设置训练/评估模式——model.tr
转载
2023-08-11 14:13:22
127阅读
在看了一些深度学习的目标检测的论文后，想着去用开源的代码去跑一下，看看实际的效果。于是小菜就想着直接把faster_rcnn用起来，包括前期的faster_rcnn安装和配置并运行其中的一个demo.py。后面是用自己的数据集训练faster_rcnn的模型。 1. 准备工作：1) 搭建caffe框架这个可以参考linux先搭建caffe的笔记。2) 安装第三方依赖包：Cython、 pyt
转载
2023-12-01 22:07:19
161阅读
项目入口：
facebookresearch/maskrcnn-benchmarkgithub.com
别人的经验： 黄钦建：MaskRCNN-Benchmark(Pytorch版本)训练自己的数据以及避坑指南zhuanlan.zhihu.com
Slumbers：使用pytorch mask-rcnn进行目标检测/分割训练zhuanlan.zhihu
转载
2023-11-27 16:13:01
104阅读
17 种加速 PyTorch 训练的方法1. 考虑换一种学习率 schedule学习率 schedule 的选择对模型的收敛速度和泛化能力有很大的影响。Leslie N. Smith 等人在论文《Cyclical Learning Rates for Training Neural Networks》、《Super-Convergence: Very Fast Training of Neural
转载
2023-11-18 14:44:18
66阅读
