源码解析之模型训练1. 载入数据集1.1 数据集张量化1.2 数据集迭代器2. 开始训练2.1 训练代码2.2 模型加载3. 结果保存3.1 模型保存3.2 loss 曲线绘制参考文献 脚本 train.py 是用来训练模型的脚本，训练模型首先需要载入数据集，然后开始训练过程，训练完成后可以根据训练结果绘制 loss 曲线图，并保存训练好的模型参数。本文将按照训练模型的流程，分别解析对应步骤的代
转载
2024-01-14 08:07:06
235阅读
（封面图由文心一格生成） 深入理解PyTorch中的train()、eval()和no_grad()在PyTorch中，train()、eval()和no_grad()是三个非常重要的函数，用于在训练和评估神经网络时进行不同的操作。在本文中，我们将深入了解这三个函数的区别与联系，并结合代码进行讲解。什么是train()函数？在PyTorch中，train()方法是用于在训练神经网络时启用dr
转载
2023-11-01 18:41:00
179阅读
最近在学习ReID相关的算法，为了提高ReID的性能通常会采用softmax loss 联合 Triplet Loss和Center Loss来提高算法的性能。本文对Triplet Loss和Cnetr Loss做一个总结，以简洁的方式帮助理解。Triplet Loss和Center Loss都是从人脸识别领域里面提出来的，后面在各种图像检索任务中被广泛应用。想要了解Triplet Loss和Ce
转载
2024-09-22 21:26:10
31阅读
文章目录介绍安装使用方法1.传入可迭代对象使用`trange`2.为进度条设置描述3.手动控制进度4.tqdm的write方法5.手动设置处理的进度6.自定义进度条显示信息在深度学习中如何使用 介绍Tqdm 是 Python 进度条库，可以在 Python 长循环中添加一个进度提示信息。用户只需要封装任意的迭代器，是一个快速、扩展性强的进度条工具库。安装pip install tqdm使用方法1
转载
2023-09-02 14:20:09
96阅读
# PyTorch模型设计与训练指南
## 引言
在深度学习领域，PyTorch是一种非常受欢迎的框架，用于构建和训练神经网络模型。本文将指导你如何使用PyTorch设计和训练模型。我们将按照以下流程进行介绍：
1. 数据准备
2. 模型设计
3. 损失函数
4. 优化器
5. 训练循环
## 数据准备
在构建和训练模型之前，我们首先需要准备数据。通常，我们将数据集分为训练集、验证集和测试集
原创
2024-02-01 04:54:22
27阅读
项目地址开发 torchtracer 的初衷在使用 pytorch 框架进行机器学习(尤其是深度学习)实验时，经常需要考虑如何保存以下实验数据：模型的 checkpoints每次训练的 hyper-parameters训练过程中的各种变化参数及其图像(loss, accuracy, learning-rate 等)除此之外，Keras 之类的其他框架在 fit 时会有一个表示训练进度的进度条，而
转载
2023-08-04 23:49:05
91阅读
PyTorch 深度学习实践 第2讲 第2讲 linear_model 源代码B站 刘二大人 ，传送门 PyTorch深度学习实践——线性模型代码说明：1、函数forward()中，有一个变量w。这个变量最终的值是从for循环中传入的。 2、for循环中，使用了np.arange。若对numpy不太熟悉，传送门Numpy数据计算从入门到实战 3、python中zip()函数的用法import nu
转载
2024-08-20 17:37:47
8阅读
首先回顾下特征损失(Feature loss)或者感知损失(Perceptual Loss)的初衷：许多损失函数，如L1 loss、L2 loss、BCE loss，他们都是通过逐像素比较差异，从而对误差进行计算。然而，有的时候看起来十分相似的两个图像(比如图A相对于图B只是整体移动了一个像素)，此时对人来说是几乎看不出区别的，但是其像素级损失(pixel-wise loss)将会变的巨大。对于这
一、两种模式pytorch可以给我们提供两种方式来切换训练和评估(推断)的模式，分别是：model.train() 和 model.eval()。一般用法是：在训练开始之前写上 model.trian() ，在测试时写上 model.eval() 。二、功能1. model.train()在使用 pytorch 构建神经网络的时候，训练过程中会在程序上方添加一句mod
转载
2023-11-29 05:15:14
51阅读
文章目录一、两种模式二、功能1. model.train()2. model.eval()为什么测试时要用 model.eval() ？3. 总结与对比三、Dropout 简介参考链接 一、两种模式pytorch可以给我们提供两种方式来切换训练和评估(推断)的模式，分别是：model.train() 和 model.eval()。一般用法是：在训练开始之前写上 model.trian() ，在测
转载
2023-11-14 15:27:00
61阅读
目录模型训练model_pretrained.pymodel_save.pymodel_load.pymodel.pytrain_cpu.pytrain_gpu1.pytrain_gpu2.pytest.py 模型训练
本笔记包含对现有网络模型的使用和修改、保存与读取、完整的模型训练套路、利用GPU训练的两种方法以及完整的模型验证套路。
model_pretrained.p
转载
2024-07-21 08:15:20
47阅读
损失函数1. 损失函数概念损失函数：衡量模型输出与真实标签的差异\[损失函数(Loss Function): Loss = f(\hat y,y)
\]\[代价函数(Cost Function): Cost =\frac{1}{N} \sum^{N}_{i}f(\hat y_i ,y_i)
\]\[目标函数(Objective Function): Obj = Cost+Regularizatio
转载
2023-07-06 22:16:08
108阅读
eval() 将 module 设置为测试模式, 对某些模块会有影响, 比如Dropout和BatchNorm, 与 self.train(False) 等效
train(mode=True) 将 module 设置为训练模式, 对某些模块会有影响, 比如Dropout和BatchNorm
参考文章：https://blog.csdn.net/qq_42730750/article/detai
原创
2023-02-23 17:03:51
112阅读
# PyTorch中的Train-Val数据集制作与标签文件生成
在深度学习中，数据集的构建是非常重要的一环。对于PyTorch用户来说，经常需要将数据集分为训练集（train set）和验证集（validation set），并生成相应的标签文件。本文将介绍如何使用PyTorch来制作Train-Val数据集，并生成标签文件。
## 制作Train-Val数据集
首先，我们需要准备好数据集
原创
2024-04-25 05:08:09
124阅读
# PyTorch 训练步骤逐渐变慢的原因解析与解决方案
在使用 PyTorch 进行深度学习训练时，很多开发者会发现随着训练步骤的增加，每个训练步骤所需的时间似乎越来越长。这种现象在实际项目中非常常见，并且可能会影响模型的训练效率。本文将探讨其背后的原因，并提供相应的解决方案。
## 原因分析
### 1. 数据加载瓶颈
在训练过程中，模型的训练速度不仅取决于计算能力，还受到数据加载效率
pytorch模型在训练中精度很高，但是进行单张样本的测试时精度为0.解决： 发现训练中验证时没有加net.eval()，所以将单张测试的model.eval()去掉就可以了。...
原创
2021-09-07 10:27:47
564阅读
先明确几个常见的名词含义：batch、epoch、iterationbatch： 通常我们将一个数据集分割成若干个小的样本集，然后一小部分一小部分喂给神经网络进行迭代，每一小部分样本称为一个batch。epoch： 将训练集中全部数据在模型中进行过一次完整的训练（包括一次正向传播和一次反向传播），成为一个epoch。iteration： 使用一个batch对模型的参数进行一次更新的过程，成为一个i
转载
2024-09-24 23:02:20
150阅读
1、多分类问题会用到softmax分类器2、数字识别问题，输出一个分部，输出层为10个结果，分别代表不同数字的识别概率，有两个要求，一是结果都大于0，二是所有概率加起来和为1，softmax满足这两个条件：得到概率-计算指数-（类似）归一化 3、二分类的损失函数： 其实只有一项是非0的多分类问题中，损失函数如下:损失函数的计算代码： 在pytorch中，写为：（注意Y
转载
2023-08-23 13:32:39
184阅读
一.前言在PyG中，除了直接使用它自带的benchmark数据集外，用户还可以自定义数据集，其方式与Pytorch类似，需要继承数据集类。PyG中提供了两个数据集抽象类：
torch_geometric.data.Dataset：用于构建大型数据集（非内存数据集）；
torch_geometric.data.InMemoryDataset：用于构建内存数据集（小数据集），继承自Dataset。下面
转载
2024-09-29 12:19:49
59阅读
本篇博客是学习B站霹雳吧啦Wz教学视频的总结数据集下载及解压按照上述下载地址下载数据集，并按照视频中的方法及脚本文件对数据集进行处理model.pyimport torch.nn as nn
import torch
class AlexNet(nn.Module):
def __init__(self, num_classes=1000, init_weights=False):
转载
2023-11-24 12:48:01
72阅读
