一、Loss Function
什么是Loss Function？wiki上有一句解释我觉得很到位，引用一下：The loss function quantifies the amount by which the prediction deviates from the actual values。Loss Function中文损失函数，适用于用于统计，经济，机器学习等领域，虽外表形式不一，
转载
2024-05-26 08:07:25
168阅读
有的模型训练的精度问题要到动态的训练过程中才会发现，这是就需要检查输入数据和loss曲线。检查loss曲线很多精度问题会在网络训练过程中发现，常见的问题或现象有：·权重初始化不合理（例如初始值为0，初始值范围不合理等）；·权重中存在过大、过小值；·权重变化过大；·权重冻结不正确；·权重共享不正确；·激活值饱和或过弱（例如Sigmoid的输出接近1，Relu的输出全为0）；·梯度爆炸、消失；·训练e
转载
2024-01-03 12:36:49
1781阅读
Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Dihong Gong, Jingchao Zhou, Zhifeng Li∗, and Wei Liu∗Tencent AI Lab{hawelwang,yitongwang,encorezhou,denisji,sagazhou,michaelzfli}@tencent.comgongdihong@gmai
转载
2024-02-04 20:48:22
243阅读
RNN解决的很多问题，是文本相关的问题。循环神经网络： 注意到的是，在左侧的图中有一个反馈回路，反馈回路把上一个时刻输出的信息，作为下一个时刻的输入，来进行处理。右侧实际上是对左侧图的展开。按照时间序列展开。Xt是时刻t的输入St是时间t处的“记忆”，St=f(UXt+WSt-1)，f可以是tanh等Ot是时间t处的输出，比如是预测下个词的情况下，可能是softmax输出的属于每个候选
2021SC@SDUSC loss计算代码损失函数 heatmap loss 输入图像,W为图像宽度，H为图像高度。网络输出的关键点热图heatmap为其中，R代表得到输出相对于原图的步长stride。C代表类别个数。 下面是CenterNet中核心loss公式： 这个和Focal loss形式很相似，和是超参数，N代表的是图像关键点个数。在的时候， 对于易分样本来说，预测值接近于1，就是一个很小
引言在使用pytorch深度学习框架，计算损失函数的时候经常会遇到这么一个函数：nn.CrossEntropyLoss()该损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。它在做分类（具体几类）训练的时候是非常有用的。在训练过程中，对于每个类分配权值，可选的参数权值应该是一个1D张量。那么针对这个函数，下面将做详细的介绍。交叉熵交叉熵主要是用来判定实际的输出与期望的
转载
2023-10-23 11:08:53
157阅读
heatmap如果网络要输出N种分类的关键点，就输出N维的特征图，同时我们根据关键点的位置在N维label的特征图上造高斯核，如果每一个像素点对应的只有一种分类，此时我们可以采用softmax Loss（Softmax loss是由softmax和交叉熵(cross-entropy loss)loss组合而成，所以全称是softmax with cross-entropy loss），也可以使用M
转载
2023-11-09 12:34:48
536阅读
首先，回顾高数中对于梯度的定义梯度是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）设二元函数 在平面区域 上具有一阶连续偏导数，则对于每一个点 都可定出一个向量 该函数就称为函数 在点 的梯度，记作&nbs
图遍历介绍所谓图的遍历，即是对结点的访问。一个图有那么多个结点，如何遍历这些结点，需要特定策略，一般有两种访问策略: (1)深度优先遍历 (2)广度优先遍历图的深度优先搜索(Depth First Search)深度优先遍历，从初始访问结点出发，初始访问结点可能有多个邻接结点，深度优先遍历的策略就是首先访问第一个邻接结点，然后再以这个被访问的邻接结点作为初始结点，访问它的第一个邻接结点， 可以这样
转载
2024-07-11 19:52:39
49阅读
引言： 对于二分类问题，一般会将预测结果经过一个非线性变换缩小到0到1之间，并设置一个阀值，比如0.5，小于0.5便是0，大于0.5便是1。但是这种做法对于多分类是不适用的。交叉熵： 通过神经网络解决多分类的方法是设置n个输出节点，n代表类别数。对于每一个样例，神经网络会得到一个n维数组做为输出结果。数组中
由于最近使用caffe训练一个网络，学习了如何使用训练过程中生成的log来绘制loss函数曲线，主要用于观察所训练的网络是否收敛。 前提：安装完caffe后已经对pycaffe和matcaffe编译过了。 接下来从训练过程如何生成训练状态的日志(log)说明，直到绘制出loss函数的曲线。 Step1.对网络训练的脚本文件train.sh进行修改，加上生成log的语句。 使用vim打开tr
转载
2023-11-12 08:00:09
910阅读
# 深度学习中的损失值（Loss Value）实现指南
在深度学习中，损失值（Loss Value）是模型训练过程中非常重要的指标之一。它用于评估模型在训练集上的表现，帮助我们判断模型的好坏。接下来，我将引导你理解如何实现损失值的计算，并且提供相应的代码示例。
## 工作流程
下面是实现损失值计算的流程图，帮助你理解整个过程：
```mermaid
flowchart TD
A[开
yolov3训练的loss是在特征层上进行求解的。所以不管是预测值，还是真实值都要映射到特征层上。这是一个双向奔赴的过程。loss求解（1）输入图片进行数据增强。（2）将图片输入yolov3网络获得三个特征层的预测结果。（3）三个有效特征层循环计算损失。（4）反向传播进行训练。由于YOLOv3将分类预测改为回归预测，分类损失函数便换成了二值交叉熵损失函数。Loss 要计算：中心点的 Loss宽高的
转载
2024-08-15 16:29:29
235阅读
这一篇主要讲讲如何在实际运用中编写dbscan算法。dbscan算法主要的目的就是找到最大密度相连点的集合。那么它必然涉及到3个子算法：1） dbscan主流程2） 如何确定两个GPS数据点的距离3） 如何合并簇我们逐一解决。首先说说GPS数据点的距离该如何确定。这个问题感觉看似简单（居然有人用勾股定理和经纬度与距离关系来计算，我只能脑洞大，但没法用）。如果要精确计算两点之间的关系，单纯利用球心，
## 如何在PyTorch中查看Loss曲线
在深度学习的训练过程中，损失（Loss）是一个非常重要的指标，用于评估模型的性能。在PyTorch中，监控和可视化损失曲线可以帮助我们理解模型的学习过程、是否收敛以及是否过拟合。本文将详细介绍如何在PyTorch中查看Loss曲线，并提供相应的代码示例。
### 1. 准备数据和模型
首先，我们需要一些数据来训练模型。在这里，我们将使用高斯分布生
maskrcnn_benchmark源码学习写在前面关于backbone1. 先期采用vgg16_bn进行初步探索。2. 实验过程随笔3. ResNet 各种变体结构resnet网络结构初级和高级block : Residual Block和BottleNeck Block4. FPN结构关于rpn关于roi_heads1. box_head2. mask_head数据集标签的制作、数据增强与加
转载
2024-04-25 20:32:20
44阅读
先上图：这里需要理解下，深度图左右两边，绿色代表买部分，红色代表卖部分，买部分从中间到最左边，price依次递减，卖的价格从中间到最右边价格依次递减，纵坐标这里给的是累计的交易量；理解了要绘制的深度图，我们就可以开始绘制了。style部分主要主要涉及买卖部分的line ，背景，字体大小，字体颜色等，以及深度图单点以及长按等属性；直接上代码：<declare-styleable name="D
转载
2018-11-26 14:19:44
1198阅读
# 深度学习模型中loss值和loss function的区别
## 1. 引言
在深度学习中，loss值和loss function是两个相关但不同的概念。理解它们的区别对于开发者来说非常重要。本文将介绍深度学习模型中loss值和loss function的概念及其区别，并提供代码示例来帮助理解。
## 2. 深度学习模型的训练流程
在开始讨论loss值和loss function之前，我们
原创
2023-10-27 03:36:22
119阅读
在深度学习框架中，绘制训练过程中模型的损失（Loss）图是一个重要的步骤，这不仅有助于分析模型的学习情况，也能为后续的优化和调整提供直观的反馈。本文将详细说明如何在Python中利用`Matplotlib`库绘制深度学习模型的Loss图，展示从背景描述到技术实现的整个过程，确保涵盖多个重要的分析和表达方式。
### 背景描述
在深度学习的研究和应用过程中，及时记录和可视化模型训练的损失，是评估
梯度下降是机器学习和深度学习的基础，本身是一个一阶最优化算法，也叫作最优下降法。核心思想是找到使loss值下降最快的方向，按一定的学习率进行逐步探索，直到获取最优解（可能是局部最优解）。要想找到函数的局部极小值，必须向函数上当前点对应梯度的反方向的规定步长距离点进行迭代搜索。如果正方向迭代进行搜索，则会接近函数的局部极大值点，这样的过程称为梯度上升法。下面我们通过几个例子解释梯度下降及实现一元函数
