1.数据集的准备（官方Data–CIFAR10为例），主要包括两部分：train_data、test_data：import 需要的包，小技巧：开始不知道用哪些包可以先不引用，输入命令后未引用的包下面会有红线警告，鼠标点击一下，然后 alt+enter会显示 需要引用的选项，选择即可。train_data = torchvision.datasets.CIFAR10(root= r'D:\trai
转载
2023-07-24 07:58:40
98阅读
一、关于梯度简单来说：梯度不是一个值，而是一个方向1.delta法则为了克服多层感知机调参存在的问题，人们设计了一种名为delta（ [公式] ）法则（delta rule）的启发式方法，该方法可以让目标收敛到最佳解的近似值。 delta法则的核心思想在于，使用梯度下降（gradient descent）的方法找极值。2.一维梯度 如果这个斜率越大，就表明其上升趋势越强劲。当这个斜率为0时，就达到
pytorch的 model.eval()和model.train()作用 pytorch中model.train()和model.eval()的区别主要在于Batch Normalization和Dropout两层。model.eval()：认为停止Batch Normalization的均值和方差统计
本文参考自 PyTorch Cookbook（常用代码段整理合集）训练代码示例先放个模型训练的整个 .py 检查版本torch.__version__ # PyTorch version
torch.version.cuda # Corresponding CUDA version
torch.backends.cudnn.versi
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、造成的原因二、查找不匹配的原因三、解决方法四、使用方法后言 前言最近在使用pytorch框架进行模型训练时遇到一个性能问题，即数据读取的速度远远大于GPU训练的速度，导致整个训练流程中有大部分时间都在等待数据发送到GPU，在资源管理器中呈现出CUDA使用率周期性波动，且大部分时间都是在等待数据加载。一、造成的原因其实
转载
2023-08-10 17:50:04
388阅读
目录一、模型保存与加载 Saving & Loading Model1. 原因2. 序列化与反序列化3. PyTorch序列化与反序列化4. 模型保存5. 模型加载二、模型段点续训练1. 原因2. 模型保存的参数3. 断点续训练三、参考 一、模型保存与加载 Saving & Loading Model模型的保存与加载，也可以称之为序列化与反序列化。1. 原因训练好的模型是为了以后
初学神经网络和pytorch，这里参考大佬资料来总结一下有哪些激活函数和损失函数（pytorch表示） 首先pytorch初始化： import torch
import torch.nn.functional as F
from torch.autograd import Variable
i
转载
2023-08-07 16:21:28
112阅读
图1. 局部特征（边缘、颜色）和区域特征（粉色框处）可以很好地由卷积神经网络（CNN）和窗口自注意力进行建
项目结构总结一般项目都包含以下几个部分：
模型定义
数据处理和加载
训练模型（Train&Validate）
训练过程的可视化
测试（Test/Inference）
主要目录结构： - checkpoints/： 用于保存训练好的模型，可使程序在异常退出后仍能重新载入模型，恢复训练
- data/：数据相关操作，包括数据预处理、dataset实现等
-
转载
2023-07-05 10:21:00
171阅读
简介ResNet（Residual Neural Network）由微软研究院的Kaiming He等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络，并在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低，效果非常突出。ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。同时ResNet的推广性非常
Pytorch训练代码框架前言自己在学习和coding的过程中，感觉每次搞一个模型，需要写一堆的过程代码（大部分是可复用的），有的时候还需要从之前或者各个博客cv一点代码，这样开发起来效率可能比较低，所以整理了一份相对来说比较全面的Pytorch建模&训练框架，一些简单的trick也整理放在了里面，方便取用。因为个人用NLP比较多，这个框架主要也是在预训练+微调这一范式下写的，但是想去掉预
前言 关于 PyTorch 炼丹，本文作者表示：如果你有 8 个 GPU，整个训练过程只需要 2 分钟，实现 11.5 倍的性能加速。如何提升 PyTorch「炼丹」速度？最近，知名机器学习与 AI 研究者 Sebastian Raschka 向我们展示了他的绝招。据他表示，他的方法在不影响模型准确率的情况下，仅仅通过改变几行代码，将 BERT 优化时间从 22.63 分钟缩减到 3.1
转载
2023-09-16 21:30:36
91阅读
Pytorch预训练模型以及修改pytorch中自带几种常用的深度学习网络预训练模型，torchvision.models包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用网络结构，并且提供了预训练模型，可通过调用来读取网络结构和预训练模型（模型参数）。往往为了加快学习进度，训练的初期直接加载pretrain模型中预先训练好的参数。加载m
PyTorch学习笔记(4)_模型、数据、训练过程的可视化Tensorboard 文章目录PyTorch学习笔记(4)_模型、数据、训练过程的可视化Tensorboard0 本章概要1 安装TensorBoard1.1 数据和模型准备1.2 设置TensorBoard2 写入TensorBoard3 在TensorBoard中查看模型4 添加一个“Projector”到TensorBoard5 在
1、过拟合与欠拟合的区别是什么，什么是正则化？ 不同曲线，对于样本的表达能力，各不相同，上图的几根曲线中：曲线1，使用一阶曲线，即直线模型，过于简单，出现大量的错误分类，此时的误差较大，模型欠拟合。曲线2，使用高阶曲线，几乎是完美的完成拟合任务，但如此严格的模型，当新的样本与训练样本稍有不同，极有可能出现误判，此时模型过拟合。而曲线3，一条相对平滑的曲线，基本能完成拟合任务
定义是否使用GPU可有可无，默认为 cpudevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")训练数据：BATCH_SIZE = 64 ：批处理尺寸，即一次处理图像的张数 加载训练数据 ： 以cifar10 为例trainset = torchvision.datasets.CIFAR10(root='./dat
转载
2023-07-10 18:35:55
71阅读
本文通过记录在pytorch中训练CIFAR-10数据集的一些过程，实现一个基本的数据集的分类，并在此过程中加强对图片、张量、CNN网络的理解，并尝试去总结一些训练技巧，记录一个新手对数据及网络的理解。CIFAR—10数据集CIFAR-10数据集包含10个类别的60000个32x32彩色图像，每个类别6000个图像。 有50000张训练图像和10000张测试图像。数据集地址如下：The CIFAR
当属于预训练模型属于下面的情况的时候，可以采用这个加速的技巧：固定前部分的层，只改变网络后面层的参数。比如，使用vgg16的预训练模型，固定特征提取层，改变后面的全连接层。要注意的是，如果固定的是特征提取层+一个全连接层，也可以使用这个技巧，只要固定的是前一部分。具体的做法是： 把所有的数据都输入进去特征层，把得到的输出保存成张量保存在内存（如果太多还可以保存在本地）中，无论有多少批次，
1 pytorch的概念1.1 tensor张量1.1.1 PyTorch的tensor与NumPy array相互转换PyTorch的很多操作和numpy都是类似的，但是因为其能够在 GPU 上运行，所以比 NumPy 快很多。 import torch
import numpy as np
# 创建一个 numpy ndarray
numpy_tensor = np.random
使用不同学习率的schedule；在DataLoader中：使用多个worker&使用pin memory；最大化batch size；使用自动混合精度（AMP）；使用不同的优化器optimizer；打开cudnn benchmark；避免CPU和GPU之间频繁传输数据；使用梯度/激活checkpointing；使用累计梯度；使用DistributedDataParallel进行多GPU训
