在我们进行输出处理时要将数据集划分为训练集、验证集、测试集。当我们模型训练后为什么不在训练集上对模型进行评估呢？原因很简单：我们如果采用训练集进行模型评估，仅仅过去几轮，模型就会过拟合，也就是模型在训练数据上始终在提高，但是在前所未见的数据(也就是不在训练集内的数据）上的性能则不再变化，甚至是开始下降。
1、梯度消失：激活函数的导数小于1，最终的梯度更新信息随着层数增多而以指数形式衰减。一般有两个原因，（1）网络层次深；（2）损失函数不对，例如说是sigmod函数。梯度爆炸：激活函数的导数大于1，最终的梯度更新将以指数形式增加，发生梯度爆炸。一般因为网络层次较深和权重初始值过大。解决手段：（1）逐层预训练；（2）针对梯度爆炸，设置阈值，梯度超过时使其强制限制在这个范围内；权重正则化；（3）随机梯度
转载
2024-01-17 11:52:01
668阅读
一、train loss 收敛慢，把learning_rate调高二、train loss不下降：1、观察数据中是否有异常样本或异常label导致数据读取异常2、调小初始化权重，以便使softmax输入的feature尽可能变小3、降低学习率，这样就能减小权重参数的波动范围，从而减小权重变大的可能性。这条也是网上出现较多的方法。4、调大batch_size5、如果有BN（batch normali
转载
2024-04-24 19:25:31
693阅读
优化算法的分类 分类算法的方式有多种多样，并没有一个统一的标准，这里只是其中一种形式。损失函数损失函数被称为 cost function, object function, loss function等，这里不区分几种用法的微小区别。 机器学习离不开目标函数，我们分析一下目标函数： 其中，前一项是经验风险，后一项是结构风险。前者是为了增加 ML 对已有系统的 fitting，后者是尽量减少 ML
# 深度学习模型中损失值衰减是什么？
在深度学习中，损失函数是用于衡量模型预测值与真实值之间的差距的指标。损失值衰减（Loss decay）则是指随着模型训练的进行，损失值逐渐减小的过程。本文将通过讲解损失值衰减的概念、原因和实际使用中的示例代码，为读者提供一个全面的理解，并且在文中使用 Mermaid 语法展示相关类图。
## 损失函数的基础
在深度学习模型训练中，损失函数的选择极为重要。
损失函数(loss function)是用来估量模型的预测值与真实值的不一致程度，它是一个非负函数，记为一般来说，损失函数越小，模型的鲁棒性越好。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数表示预测值与真实值之间的差异，结构风险损失函数是指经验风险损失函数加上正则化。一般形式为： &
转载
2024-08-21 11:46:17
199阅读
监督学习及其目标函数 损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示
降低损失降低损失的方法-迭代降低损失的方法-梯度下降法降低损失的方法-随机梯度下降法降低损失的方法-迭代下图是机器学习过程中常见的迭代流程图该图体现了机器学习过程中，通过迭代来减少损失的基本思路。大致思路如下：首先根据数据集中的训练集来得到一个预测模型，然后利用该模型来计算一个特征对应的输出，并且计算出损失。通过获得的损失，来更新预测模型的参数，再反复进行上述过程。直至最后计算出来的损失降低至了可
本篇是摘抄pytorch-handbook里面的，有兴趣可以看看。损失函数(Loss Function)损失函数（loss function）是用来估量模型的预测值(我们例子中的output)与真实值（例子中的y_train）的不一致程度，它是一个非负实值函数，损失函数越小，模型的鲁棒性就越好。 我们训练模型的过程，就是通过不断的迭代计算，使用梯度下降的优化算法，使得损失函数越来越小。损失函数越小
转载
2024-01-03 18:02:02
275阅读
1 Introduction 这句话总结得非常好。对于SPP模块来说，它会通过在不同分辨率上对特征进行池化操作来获得丰富的上下文语义信息；对于后者encoder-decoder架构来说，能够获得很好的目标边界信息。指出的问题：由于STOA神经网络结构和GPU内存的限制，在计算上提取比输入分辨率小8倍甚至4倍的特征图是禁止的，意思就是计算开销非常大。作者拿ResNet101为例，当使用空洞卷积提取比
softmax也是一个用于多分类的线性分类器。 首先来看看softmax的损失函数和梯度函数公式 结合惩罚项，给出总的损失函数： L = -(1/N)∑i∑j1(k=yi)log(exp(fk)/∑j exp(fj)) + λR(W) 下面有几个准备函数也要理解： Li = -log(exp(fyi)/∑j exp(fj)) ：这个就是最基本的softmax函数，也就是本应该正确的分类得
转载
2024-09-26 00:06:57
53阅读
一、混淆矩阵（Confusion matrix） 混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。具体评价指标有总体精度、制图精度、用户精度等，这些精度指标从不同的侧面反映了图像分类的精度。在人工智能中，混淆矩阵(confusion matrix)是可视化工具，特别用于监督学习，在无监督学习一般叫做匹配矩阵。矩阵的每一行表示预测类中的实例，而每一列表示实际类中的实
TensorBoard是用于可视化和调试机器学习模型的工具。它可以帮助跟踪训练过程中的各种指标，例如损失值、准确率等，并查看模型的结构和参数分布。TensorBoard由Google开发，最初用于TensorFlow框架，现在也支持PyTorch。 目录一、TensorBoard的主要功能1.1 可视化训练过程1.2 查看模型结构1.3 分析参数分布1.4 对比多个模型二、安装tensorboar
转载
2024-09-04 08:51:17
38阅读
一个深度学习项目包括了: 模型设计、损失函数设计、梯度更新方法、模型保存和加载和模型训练，其中损失函数就像一把衡量模型学习效果的尺子，训练模型的过程就是优化损失函数的过程，模型拿到数据之后有一个非常重要的环节: 将模型自己的判断结果和数据真实的情况做比较，如果偏差或者差异特别大，那么模型就要去纠正自己的判断，用某种方式去减少这种偏差，然后反复这个过程，知道最后模型能够对数据进行正确的判断损失函数和
转载
2022-08-01 11:03:00
344阅读
1. 简介使用机器学习时，我们有不同的指标来告诉我们模型的表现如何。但是，这些措施可能会混淆它们的含义、如何解释或它们究竟是什么。知道了这一点，我们可以推断出更多关于我们模型的信息。在本教程中，我们将重点介绍损失和准确性。它们都是训练模型时要考虑的基本值。2. 损失损失是一个值，表示模型中误差的总和。它衡量我们的模型做得有多好（或多坏）。如果误差高，损失就会高，这意味着模型没有做好。否则，它越低，
转载
2023-10-30 22:16:15
293阅读
常见的损失函数1 分类任务1.1 多分类任务1.2 二分类任务2 回归任务2.1 MAE损失2.2 MSE损失2.3 smooth L1 损失 在深度学习中, 损失函数是用来衡量模型参数的质量的函数, 衡量的方式是比较网络输出和真实输出的差异，损失函数在不同的文献中名称是不一样的，主要有以下几种命名方式：损失函数 （loss function）代价函数（cost function）目标函数（o
转载
2023-12-25 21:49:11
79阅读
大家好，我们今天来继续聊聊深度学习。在上一篇文章当中我们简单介绍了感知机和神经网络的一个关系，对神经网络有了一个粗浅的理解。其实神经网络并没有大家想的那么难，每个神经元之间的数据传输以及计算方式都是确定的。仅仅知道神经网络的结构还是不够的，更重要的是这个网络它究竟是如何学习的，这才是我们要了解的重点。今天本文将会继续介绍神经网络的一些基础内容。损失函数在早年的时候，深度学习这个概念并没有从机器学习
转载
2021-05-02 22:28:46
1110阅读
基本名词解释训练：确定算法模型中参数的过程称训练。训练是一个不断迭代的过程。训练集：训练中使用的数据称为训练集。训练集的质量决定模型的执行。Epoch：遍历一遍训练数据称为一个"Epoch"。训练模型可以告诉模型要训练多少个Epoch。训练模型的epoch数必须让模型达到一个收敛的状态。Batch size：每次取一定数量的数据进行学习，这个数量叫Batch size。Batch size的大小一
引言本文介绍了一些销量预测相关的误差指标. 它们可以被分为两类: 绝对误差和绝对百分比误差. 前2节介绍销量预测问题及相关概念. 第3节我们介绍3种绝对误差, 并比较它们对异常值的敏感性. 由于绝对误差不适合比较多个商品或多个时段的预测结果, 在第4节我们介绍3种百分比误差. 在这一节, 我们重点强调了它们的优点和缺陷. 第5节是误差指标比较结果的汇总. 在第6节中, 我们用一个例子充分说明了百分
转载
2024-06-09 07:16:42
103阅读
深度学习的损失率的意义 损失程度模型
转载
2023-05-25 15:46:36
229阅读
