损失函数的作用是衡量模型的输出与真实标签之间的差异，有了这个差异(loss)后，如何使用这个loss去更新模型中的参数，使得loss逐渐降低呢？这就是优化器所要完成的工作。什么是优化器损失函数会得到一个loss值，即模型输出与真实标签之间的差异，然后采用pytorch中的自动梯度求导模块来求导模型中的参数的梯度，在模型中就可以得到对每一个可学习参数的梯度grad，有了梯度之后，优化器拿到梯度进行一
转载
2023-08-05 20:24:11
72阅读
一、优化器PyTorch常用的优化方法都封装在torch. optim里面，其设计很灵活，可以扩展为自定义的优化方法。所有的优化方法都是继承了基类optim.Optimizer,并实现了自己的优化步骤。最常用的优化算法就是梯度下降法及其各种变种，后续章节我们将介绍各种算法的原理，这类优化算法通过使用参数的梯度值更新参数。说明使用优化器的一-般步骤为: (1) 建立优化器实例 导入optim模块，实
转载
2023-09-17 13:39:16
125阅读
一、线性模型线性模型：可以看做是单层的神经网络衡量指标：参数学习： 总结： 二、优化算法1、梯度下降学习率的选择：不能太大也不能太小 （1）小批量随机梯度下降批量不能太小：批量值太小的话，每次计算量太小，不适合并行来最大利用计算资源批量也不能太大：批量值太大的话，内存消耗增加，浪费计算 三、线性回归从零开始实现1、人工构造数据#从零实现整个方法，包括数据流水
转载
2024-04-12 12:43:52
152阅读
MindStudio介绍与安装流程1.1基本介绍：MindStudio为用户提供在AI开发所需的一站式开发环境，支持模型开发、算子开发以及应用开发三个主流程中的开发任务。通过依靠模型可视化、算力测试、IDE本地仿真调试等功能，MindStudio能够帮助用户在一个工具上就能高效便捷地完成AI应用开发。另一方面，MindStudio采用插件化扩展机制，以支持开发者通过开发插件来扩展已有功能。Min
本文介绍在使用 PyTorch 训练深度模型时最省力、最有效的 17 种方法。该文所提方法，都是假设你在 GPU 环境下训练模型。具体内容如下。01考虑换一种学习率 schedule学习率 schedule 的选择对模型的收敛速度和泛化能力有很大的影响。Leslie N. Smith 等人在论文《Cyclical Learning Rates for Training Neural Network
转载
2023-12-04 15:55:09
65阅读
导读In-place操作用在推理的时候可以显著节省内存，但是训练的时候一定要小心使用。如今的高级深度神经网络拥有数百万个可训练参数，训练它们通常会导致GPU内存耗尽。有几种简单的方法可以减少模型占用的GPU内存，例如：考虑改变模型的架构或使用具有较少可训练参数的模型类型(例如，选择DenseNet-121而不是DenseNet-169)。这种方法会影响模型的性能度量。减少batch大小或手动设置数
转载
2024-01-17 08:47:19
164阅读
# 用 PyTorch 实现分类模型并优化其性能
当你开始学习如何使用 PyTorch 创建分类模型时，重要的是要知道整个流程。这不仅涉及模型的构建，还需要对数据预处理、模型训练和优化过程的理解。下面我们将一步一步地走过这个过程，并提供所需的代码和注释。
## 整体流程
以下是实现分类模型的主要步骤：
| 步骤 | 描述
ining_data = datasets.FashionMNIST( root="data", train=True, down
原创
2022-03-30 10:00:32
971阅读
在深度学习——PyTorch入门（一）中我们介绍了构建网络模型和加载数据的内容，本篇将继续介绍如何完成对模型的训练。训练：更新网络权重构建网络结构和加载完数据集之后，便可以开始进行网络权重的训练。在PyTorch中，这是使用所谓的优化函数完成的，优化函数会处理并更新网络的权重。也就是说，他会自动访问之前在__init__方法中定义的所有网络层，并根据选择的优化器的类型，使用一定的学习率和算法完成权
转载
2023-12-03 10:41:17
28阅读
文章目录1. 模型训练过程划分1.1. 定义过程1.1.1. 全局参数设置1.1.2. 模型定义1.2. 数据集加载过程1.2.1. Dataset类：创建数据集1.2.2. Dataloader类：加载数据集1.3. 训练循环2. 模型训练过程优化的总体思路2.1. 提升数据从硬盘转移到CPU内存的效率2.2. 提升CPU的运算效率2.3. 提升数据从CPU转移到GPU的效率2.4. 提升GP
转载
2024-07-10 11:31:07
42阅读
本篇博客对网络剪枝的实现方法主要在https://jacobgil.github.io/deeplearning/pruning-deep-learning的基础上进行了相应修改而完成，所参考的论文为https://arxiv.org/abs/1611.06440。本篇博客所使用的代码见https://github.com/PolarisShi
转载
2024-08-08 11:04:22
83阅读
这次博客准备写一系列有关机器学习的分类模型，大家都知道分类模型有很多，有KNN，SVM，逻辑回归，决策树，随机森林，朴素贝叶斯等。下面一一介绍这些算法的思想以及优缺点： KNN(K近邻法) K-近邻是一种分类算法，其思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。找到训练集样本空间中的K个距离预测样本x最
转载
2023-10-10 20:02:51
73阅读
我们将讲解一些梯度下降优化算法，对它们如何工作给出一些直观的理解，然后在PyTorch中实现每一个算法。在我们开始沿着这条路走之前，先澄清一下有时会困惑的东西。反向传播是一种计算神经网络中参数相对于损失的梯度的算法。梯度下降优化算法利用每个参数梯度来计算如何更新参数以减少损失。另一个小提示:这些实现更多的是出于教育目的，当实际训练神经网络时，你一定要使用torch.optim中提供的适当的PyTo
转载
2024-05-09 23:19:11
131阅读
PyTorch 预训练模型，保存，读取和更新模型参数以及多 GPU 训练模型转载 极市平台 9月10日目录1. PyTorch 预训练模型2.保存模型参数3.读取模型参数4. 冻结部分模型参数，进行 fine-tuning方法一：方法二：5. 模型训练与测试的设置训练时，应调用 model.train() ；测试时，应调用 model.eval()，以及 with torch.no_grad()
转载
2024-08-05 14:48:40
31阅读
在本文中，我将描述并展示4种不同的Pytorch训练技巧的代码，这些技巧是我个人发现的，用于改进我的深度学习模型的训练。混
原创
2024-05-18 20:48:39
47阅读
PyTorch学习笔记（13）–现有网络模型的使用及修改 本博文是PyTorch的学习笔记，第13次内容记录，主要介绍如何使用现有的神经网络模型，如何修改现有的网络模型。 目录PyTorch学习笔记（13）--现有网络模型的使用及修改1.现有网络模型2.现有模型的使用2.1VGG16模型的结构2.2修改现有VGG16模型的结构3.学习小结 1.现有网络模型 在现有的torchvisio
转载
2023-09-08 11:34:48
593阅读
一、多目标优化的概念 单目标优化的情况下，只有一个目标，任何两解都可以依据单一目标比较其好坏，可以得出没有争议的最优解。 多目标化与传统的单目标优化相对。多目标优化的概念是在某个情景中在需要达到多个目标时，由于容
转载
2023-10-27 14:12:23
352阅读
????欢迎来到本博客❤️❤️???博主优势：???博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。⛳️座右铭：行百里者，半于九十。???本文目录如下：???目录?1 概述1.1 麻雀搜索算法1.2 长短期记忆神经网络?2 运行结果?3 参考文献?4 Matlab代码实现?1 概述本研 究 利 用 麻 雀搜索算法 ( SSA) 以 提 高LSTM 模型准确度为优化目
转载
2024-01-24 13:34:50
175阅读
文章目录PyTorch模型定义的方式equentialModuleListModuleDict三种方法比较与适用场景利用模型块快速搭建复杂网络U-Net简介U-Net模型块分析U-Net模型块实现利用模型块组装U-NetPyTorch修改模型修改模型层添加外部输入添加额外输出PyTorch模型保存与读取模型存储格式模型存储内容单卡和多卡模型存储的区别情况分类讨论 深入浅出PyTorch PyTo
转载
2023-09-21 08:57:41
133阅读
1.torch.optim 在机器学习或者深度学习中，我们需要通过修改参数使得损失的数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。 1.1一阶优化算法 使用参数的梯度值来更新参数，最常用的是梯度下降。梯度是导数的多变量表达式，函数的梯度形成了向量场，同时也是一个方向，这个方向导数最大，等于梯度。 梯度下降的功能是寻找最小值，控制方差，更新模型参数最终使模型收敛，网络的参数更新公式是
转载
2023-10-13 23:10:57
50阅读
