大概停在这部分很久了，总结并提醒自己一下！目前遇到的步骤大概如下： 1.指定设备 [2.设置随机种子] 3.创建数据集(数据导入，预处理和打包) 4.创建模型 5.创建优化器 [6.学习率调整策略] 7.开始循环训练 8.预测脚本1.指定设备device = torch.device("cuda" if torch.cuda.isavailable() else "gpu")这里设计两个函数，to
转载
2023-08-18 20:04:42
0阅读
说明在深度学习中，"钩子"通常指的是在模型训练或推理过程中插入的一些回调函数或处理程序，以执行额外的操作或监控模型的行为。这些钩子可以分为两种类型：张量钩子和模块钩子。张量钩子（Tensor Hooks）：张量钩子是与模型中的具体张量（tensor）相关联的。通过在张量上注册钩子，可以在张量的计算中执行自定义的操作，例如记录梯度、修改张量的值等。这对于调试、可视化和梯度的处理非常有用。在PyTor
转载
2024-07-30 17:10:05
73阅读
# PyTorch模型Batch预测
在深度学习任务中，模型的预测通常需要处理大量数据，为了提高预测效率，我们可以使用批处理（batch processing）的方法，即一次性输入多个样本进行预测。PyTorch是一种流行的深度学习框架，它提供了一种简单而有效的方式来实现模型的批处理预测。本文将介绍如何使用PyTorch进行模型的批处理预测，并给出代码示例。
## 1. PyTorch简介
原创
2024-02-10 04:45:36
264阅读
文章目录前言模型训练套路1.准备数据集2.训练数据集和测试数据集的长度3.搭建网络模型4.创建网络模型、损失函数以及优化器5.添加tensorboard6.设置训练网络的一些参数7.开始训练模型8.查看tensorboard的结果模型验证套路1.输入图片2.加载网络模型3.验证结果总结 前言本周主要学习了Pytorch的使用，用Dataset读取文件中的数据，DataLoader对Dataset
转载
2023-08-11 20:22:27
197阅读
常见的学习种类 线性回归，最简单的y=wx+b型的，就像是调节音量大小。逻辑回归，是否问题。分类问题，是猫是狗是猪最简单的线性回归y=wx+b目的：给定大量的（x,y）坐标点，通过机器学习来找出最符合的权重w和偏置b损失指的是每个点进行wx+b-y然后平方累加，是用来估量模型的预测值f(x)与真实值Y的不一致程度。根本的方法是首先要给出人工设定初始的w和b值，然后计算损失对于w和对于b的
转载
2023-07-04 19:52:05
220阅读
定义是否使用GPU可有可无，默认为 cpudevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")训练数据：BATCH_SIZE = 64 ：批处理尺寸，即一次处理图像的张数 加载训练数据 ： 以cifar10 为例trainset = torchvision.datasets.CIFAR10(root='./dat
转载
2023-07-10 18:35:55
109阅读
Pytorch预训练模型以及修改pytorch中自带几种常用的深度学习网络预训练模型，torchvision.models包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用网络结构，并且提供了预训练模型，可通过调用来读取网络结构和预训练模型（模型参数）。往往为了加快学习进度，训练的初期直接加载pretrain模型中预先训练好的参数。加载m
转载
2024-01-24 23:23:47
122阅读
PyTorch学习笔记(4)_模型、数据、训练过程的可视化Tensorboard 文章目录PyTorch学习笔记(4)_模型、数据、训练过程的可视化Tensorboard0 本章概要1 安装TensorBoard1.1 数据和模型准备1.2 设置TensorBoard2 写入TensorBoard3 在TensorBoard中查看模型4 添加一个“Projector”到TensorBoard5 在
转载
2024-06-03 15:12:59
66阅读
PyTorch 2.0 通过简单一行 torch.compile() 就可以使模型训练速度提高 30%-200%，本教程将演示如何真实复现这种提速。torch.compile() 可以轻松地尝试不同的编译器后端，进而加速 PyTorch 代码的运行。它作为 torch.jit.script() 的直接替代品，可以直接在 nn.Module 上运行，无需修改源代码。上篇文章中，我们介绍了 torch
转载
2024-01-11 21:57:32
129阅读
模型训练的开发过程可以看作是一套完整的生产流程，这些环节包括: 数据读取、网络设计、优化方法与损失函数的选择以及一些辅助的工具等，TorchVision是一个和PyTorch配合使用的Python包，包含很多图像处理工具PyTorch中的数据读取模型训练开始的第一步就是数据读取，PyTorch提供了十分方便的数据读取机制，使用Dataset类与DataLoader的组合来得到数据迭代器。在训练或预
转载
2024-05-08 10:07:12
31阅读
目录基本流程一、数据处理二、模型搭建三、定义代价函数&优化器四、训练附录nn.Sequentialnn.Modulemodel.train() 和 model.eval() 损失图神经网络基本流程 1. 数据预处理（Dataset、Dataloader）2. 模型搭建（nn.Module）3. 损失&优化（loss、optimizer）4. 训练（forward、
转载
2023-08-08 14:53:00
0阅读
目录1.选取训练模型中的损失函数1.1L1损失函数1.2均值平方差(MSE)损失函数1.3交叉熵损失（CrossEntropyLoss）函数1.4加权交叉熵1.5分类模型中常用的3种损失函数2.Softmax接口的使用3.优化器的使用与优化参数的查看3.1优化器的使用3.2优化参数的查看4.用退化学习率训练模型4.1手动实现退化学习率4.2PyTorch中的退化学习率接口----lr_sched
转载
2024-07-17 20:56:40
83阅读
目录简介随机裁剪Totensor数据标准化(减均值，除以标准差)transforms 的⼆⼗⼆个⽅法1. 裁剪——Crop中心裁剪：transforms.CenterCrop随机裁剪：transforms.RandomCrop随机长宽比裁剪：transforms.RandomResizedCrop上下左右中心裁剪：transforms.FiveCrop上下左右中心裁剪后翻转，transforms.
转载
2024-09-01 23:40:53
57阅读
Pytorch应用训练好的模型1.保存训练好的模型：torch.save方法2.加载之前保存的模型：torch.load方法3.对于分类问题的补充4.CPU训练完整代码5.GPU训练方法一6.GPU训练方法二7.GPU训练过程的细节优化8.验证模型 1.保存训练好的模型：torch.save方法保存训练好的模型有两种方式，第一种保存模型结构且保存模型参数，第一种方式存在一种陷阱，也就是每次加载模
转载
2023-07-16 14:45:26
526阅读
1、加载预训练模型调用网上的预训练参数：如果在下载文件夹里没有相应的预训练模型参数文件(.pth)，则会直接从网上下载。import torchvision.models as models
#resnet
model = models.ResNet(pretrained=True)
model = models.resnet18(pretrained=True)
model = models
转载
2023-08-30 15:04:10
481阅读
Pytorch学习第四部分：pytorch进阶训练技巧Let's go !一、U-Net模块回顾1.1 模块代码2.2 搭建过程二、Carvana数据集，实现一个基本的U-Net训练过程三、优雅地训练模型3.1 自定义损失函数3.1.1 使用torch.nn自带的损失函数3.1.2 使用自定义的损失函数3.2 动态调整学习率3.3 模型微调3.4 半精度训练3.4.1 pytorch精度测试3.
转载
2024-07-29 11:11:40
260阅读
文章目录前言一、模型训练流程二、加载数据集三、定义模型四、模型训练&测试五、整体流程以下是训练的整体流程前言就本人在学习深度学习的过程中，记录并分享基于pytorch框架的一个深度学习神经网络的分类训练的模板；文末有源码。一、模型训练流程加载数据集数据预处理特征工程 （如果你需要有这个步骤？）模型训练模型评估二、加载数据集使用pytorch下的dataset类，其中分为两种形式：加载官方
转载
2023-10-16 19:58:24
126阅读
pytorch入门2.x构建回归模型系列:pytorch入门2.0构建回归模型初体验（数据生成）pytorch入门2.1构建回归模型初体验（模型构建）pytorch入门2.2构建回归模型初体验（开始训练）经过上面两个部分，我们完成了数据生成、网络结构定义，下面我们终于可以小试牛刀，训练模型了！
首先，我们先定义一些训练时要用到的参数：EPOCH = 1000 # 就是要把数据用几遍
LR = 0
转载
2024-05-13 17:26:22
45阅读
# 如何在pytorch中释放显存
作为一名经验丰富的开发者，我将向你介绍如何在pytorch中每个batch训练后释放显存。在本文中，我将详细描述整个过程，并提供每个步骤所需的代码和注释。让我们开始吧！
## 流程概述
在开始介绍每个步骤之前，我们先来看一下整个过程的流程。下表展示了每个步骤的概述，以及我们将在每个步骤中执行的操作。
| 步骤 | 操作 |
| --- | --- |
|
原创
2023-09-08 09:53:18
1102阅读
1. 笔者的一些经验笔者血泪史中最重要的一点：网络输出到求loss之间的操作，尽可能简洁如果NN的输出直接和label可以进行对比，那是最好的情况，比如输出是猫还是狗这种tag如果不能直接进行对比，则应该尽可能简洁，同时注意以下问题：1. 1 尽可能注意避免原地操作：原地操作无法溯源，backward的时候找不到之前的值了
能用torch.squeeze(x)，不用x.squeeze_()
转载
2023-10-31 21:50:18
167阅读
