目录一、apex原理简介1、apex和amp2、为什么要使用低精度3、Fp16带来的问题和解决办法a、溢出错误b、舍入误差二、apex的两种方式1、NVIDIA apex2、torch 原生支持的apex三、模型训练效果对比1、时间2、内存3、loss趋势4、模型准确率最近在训练模型的时候，接触到使用apex混合精度来提升模型训练速度的技术，在仔细了解学习和使用后，觉得有必要进行一个博客输出。一、
转载
2024-01-25 23:12:49
73阅读
PyTorch中的torch.nn.Parameter() 详解今天来聊一下PyTorch中的torch.nn.Parameter()这个函数，笔者第一次见的时候也是大概能理解函数的用途，但是具体实现原理细节也是云里雾里，在参考了几篇博文，做过几个实验之后算是清晰了，本文在记录的同时希望给后来人一个参考，欢迎留言讨论。分析先看其名，parameter，中文意为参数。我们知道，使用PyTorch训练
转载
2023-09-30 13:36:58
100阅读
概述torch.optim.lr_scheduler 模块提供了一些根据 epoch 迭代次数来调整学习率 lr 的方法。为了能够让损失函数最终达到收敛的效果，通常 lr 随着迭代次数的增加而减小时能够得到较好的效果。torch.optim.lr_scheduler.ReduceLROnPlateau 则提供了基于训练中某些测量值使学习率动态下降的方法。学习率的调整应该放在optimizer更新之
转载
2024-01-29 05:37:03
21阅读
PyTorch使用教程-PyTorch构建神经网络(下)前言上节我们使用了PyTorch自己组建了一个线性回归模型,并且我们自己实现了一个网络和优化,如果这些你都了解了那这节我们就能顺其自然的使用PyTorch给我们的封装来实现一个简单的DNN模型了网络模型一个简单的DNN应该有这三部分组成输入,隐藏,输出层 有个好玩的游乐场 可以自己组件DNN来拟合数据,其中的超参数有:Learning rat
转载
2023-10-11 11:22:52
95阅读
# 如何在PyTorch中实现L2损失
在深度学习中，损失函数是衡量模型预测值与真实值之间差距的一个重要指标。L2损失，也称为均方误差（Mean Squared Error，MSE），在回归任务中广泛使用。今天，我们将深入探讨如何在PyTorch中实现L2损失。
## 整体流程
在开始编码之前，我们先简单概述一下实现L2损失的整体流程。以下是每个步骤的概述：
| 步骤 | 描述 |
|--
# 使用 PyTorch 实现 L2 正则化
在深度学习模型的训练中，L2 正则化是一种保护模型避免过拟合的方法。L2 正则化会在损失函数中加入一个关于模型参数的惩罚项，从而限制模型的复杂性。
本文将通过一个简单的示例，指导你如何在 PyTorch 中实现 L2 正则化。我们将先了解整个流程，然后逐行解析每一段代码。
## 流程概述
下面是实现 L2 正则化的简单流程：
| 步骤 | 说
# PyTorch中的L2范数及其计算
L2范数是矩阵或向量的Euclidean范数，也称为向量的模。在PyTorch中，我们经常会用到L2范数来衡量参数的大小、计算损失函数等。本文将介绍PyTorch中如何计算L2范数，并给出相应的代码示例。
## L2范数的定义
对于一个向量或矩阵$\mathbf{x}$，其L2范数定义为：
$$
||\mathbf{x}||_2 = \sqrt{\s
原创
2024-07-08 04:51:55
245阅读
# PyTorch中的L2距离：一种基本的距离度量
在机器学习和深度学习中，距离度量是一个非常重要的概念，特别是在分类和聚类任务中。L2距离，也称为欧几里得距离，是最常用的距离度量之一。在PyTorch中，我们可以用简洁的代码来计算L2距离。本文将详细阐述L2距离的概念，并提供相关代码示例。
## 什么是L2距离？
L2距离是欧几里得距离的一种形式，常用于衡量两个点之间的距离。在二维空间中，
# PyTorch ATen L0: 深入了解稀疏性与加速计算
随着深度学习的发展，神经网络模型的规模逐渐增大，计算效率和资源利用率的问题变得愈发重要。在此背景下，PyTorch引入了ATen库和L0范数，这为高效的稀疏神经网络提供了支持。本篇文章将深入探讨ATen L0的特点与应用，帮助读者更好地理解这一重要概念。
## ATen简介
ATen是PyTorch的一个低级张量库，专为高性能数
原创
2024-08-19 03:29:15
60阅读
批量归一化和残差网络批量归一化（BatchNormalization）对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间。全连接：
转载
2024-06-15 09:09:32
65阅读
L1Lossnn.L1Loss 也称为平均绝对误差（Mean Absolute Error，MAE）。它计算预测值与真实值之间的差异（即误差），然后取绝对值并求和，最后除以样本数量得到平均误差。具体来说，对于一批大小为 的样本，nn.L1Loss 的计算公式如下：其中， 为模型的预测输出，nn.L1Loss 通常用于回归问题中，例如预测房价、预测人的年龄等。它的优点是可以对异常值不敏感，即单个异
转载
2024-03-02 08:59:31
230阅读
文章目录前言一、EfficientnetV2二、网络结构1.Fused_MBConv2.MBConv三、整体代码总结 论文地址：https://arxiv.org/abs/2104.00298 官方代码：https://github.com/google/automl/tree/master/efficientnetv2 参考链接： 代码参考链接：https://github.com/googl
转载
2024-07-22 09:16:04
47阅读
3.11 模型选择、欠拟合和过拟合3.11.1 训练误差和泛化误差训练误差（training error）指模型在训练数据集上表现出的误差；泛化误差（generalization error）指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。3.11.2 模型选择验证集（validation set）为预留一部分在训练数据集和测试数据集以外的数据来进行模型选择，
第一节 过拟合/欠拟合、梯度消失/梯度爆炸重、难点：优化器中一般只对权重参数设置衰减，而不对偏置参数设置衰减，因为对偏置增加正则不会明显的产生很好的效果。而且偏置并不会像权重一样对数据非常敏感，所以不用担心偏置会学习到数据中的噪声。而且大的偏置也会使得我们的网络更加灵活，所以一般不对偏置做正则化。网络在训练时，要通过net.eval()将网络设置为改为评估模式，这时候输入X不会对神经元进行d
转载
2023-07-24 20:42:19
144阅读
# PyTorch中的L2正则化
在机器学习中，正则化是一种用于减小模型复杂度和防止过拟合的技术。L2正则化是正则化技术中最常用的一种方法之一。然而，在PyTorch中使用L2正则化时，有时会遇到L2系数太大的问题。本文将介绍L2正则化的概念以及在PyTorch中处理L2系数太大的解决方法。
## L2正则化
L2正则化也被称为权重衰减（weight decay），它通过向损失函数中添加模型
原创
2023-07-21 11:03:54
246阅读
正则化是机器学习中的一个重要概念，它可以帮助我们防止模型过拟合。在这篇文章中，我将详细介绍两种常见的正则化技术：L1和L2正则项。然后会基于PyTorch平台讲解如何向自己的网络模型中添加上述两种技术，将正则化真正为己所用！！！ 文章目录1 背景介绍2 公式推导3 程序实现3.1 正则化实现3.2 网络实例3.3 在网络中加入正则项3.4 PyTorch中自带的正则方法：权重衰减4 正则项的使用注
1.了解正则表达式正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是用来匹配字符串非常强大的工具，在其他编程语言中同样有正则表达式的概念，Python同样不例外，利用了正则表达式，我们想要从返回的页面内容提取出我们想要的内容就易如反掌了。正则表达式的大致匹配过程是：
入门知识本文档基于官网的60min入门教程《What is PyTprch》《PyTorch深度学习：60分钟快速入门（官网翻译）》By 黄海广 部分内容来自于《PyTorch机器学习从入门到实战》–机械工业出版社numpy常用数值操作及特性pytorch库中有很多操作都可以类比和借鉴numpy库中的处理，且在机器学习中numpy也是一个很重要的强大的数值处理库，建议读者先理一下numpy中的常用
文章目录VGG，使用重复元素的网络为什么要用多个小的卷积核替代大的卷积核（小卷积核优势）总结 VGG，使用重复元素的网络VGG的组成规律是：连续使用多个相同的VGG块，即填充为1、窗口形状为 3 x 3 的卷积层后接一个步幅为2、窗口形状为 2 x 2 的最大池化层。卷积层保持输入的高和宽不变，而池化层则对其减半。我们使用vgg_block函数来实现这个基础的VGG块，它可以指定卷积层的数量和输
转载
2023-09-19 22:56:30
101阅读
正则化是广泛应用于机器学习和深度学习中的技术，它可以改善过拟合，降低结构风险，提高模型的泛化能力，有必要深入理解正则化技术。奥卡姆剃刀原则奥卡姆剃刀原则称为“如无必要，勿增实体”，即简单有效原理。在机器学习中，我们说在相同泛化误差下，优先选用较简单的模型。依赖于该原则，提出了正则化技术。什么是正则化及正则化的作用正则化是在经验风险项后面加上正则罚项，使得通过最小化经验风险求解模型参数转变为通过最小
转载
2023-08-17 17:17:32
98阅读
