背景 对比学习损失函数有多种，其中比较常用的一种是InfoNCE loss。最近学习实现了SGL推荐系统算法，对InfoNCE Loss做一个总结。 InfoNCE Loss损失函数是基于对比度的一个损失函数，是由NCE Loss损失函数演变而来。那为
转载
2024-05-02 16:37:36
185阅读
损失函数我们之前讲了我们对于一张图片，我们对其进行打分，代表它被分为某一类的可能性，那么我们需要建立一个损失函数来对这个分类器的好坏进行衡量我们定义SVM损失函数有如下形式。SVM只是一个二元分类器，我们将其进行推广到多元的情况，定义了SVM损失函数。我们将正确类的打分与其他类打分做差，如果差值大一某个阈值（在下图例子中阈值为1），则损失函数为0,；若小于阈值，我们将损失函数定义为二者之差加上阈值
转载
2024-03-19 21:02:28
81阅读
传统的语言模型在预测序列中的下一个单词时只会考虑到前面的有限个单词，RNN与之不同，RNN网络会根据前面已经出现的所有输入来调整整个网络。下图是RNN网络的典型结构：Xt表示在t时刻的输入，ht表示t时刻的隐藏层状态，yt表示t时刻的输出。每一个隐藏层都有许多的神经元，这些神经元将上一层的输入做线性变换（矩阵乘法，也就是乘以权重），然后再使用非线性激活函数进行激活。t时刻的输入Xt和t-1时刻的隐
转载
2023-08-09 00:23:14
645阅读
激活函数激活函数去线性化常见的激活函数有sigmoid()，tanh()，ReLU，关于激活函数的一些作用参考activation function在tensorflow中，实现上述函数的代码：tf.nn.sigmoid()
tf.nn.tanh()
tf.nn.relu()传统损失函数监督学习的两大类分类问题：将不同的样本划分到已知的类别当中多分类中，神经网络对每个样本产生一个n维数组作为输出结
转载
2024-07-02 23:24:23
23阅读
RNN算法的电池SOC估算
循环神经网络（Recurrent Neural Networks，RNN）是一种深度学习的神经网络框架，其与普通神经网络最本质上的区别在于，RNN可以保留上一时刻的隐藏层的状态。因此，RNN具有十分强大的学习能力。RNN网络的递推公式如下所示： 式中，ot表示RNN在t时刻的输出值，V表示输出层和隐含层之间的权重矩阵，st表示RNN在t时刻隐含层的数值
转载
2024-07-08 15:30:27
73阅读
均方误差（Mean Squared Error，MSE）：均方误差是最常见的图像恢复损失函数之一。它计算恢复图像与原始图像之间的像素级别差异的平均值的平方。MSE 损失函数趋向于使恢复图像的像素值与原始图像的像素值尽可能接近。均方根误差（Root Mean Squared Error，RMSE）：均方根误差是均方误差的平方根，它衡量恢复图像与原始图像之间的平均像素级别差异。RMSE 损失函数也常用
转载
2023-10-08 09:20:21
335阅读
本人前段时间学习和研究神经网络的理论和编程，特别关注了在语音识别、语言模型、机器翻译等方面有广泛应用的RNN模型和LSTM模型。发现绝大多数有关RNN模型的文章，对于RNN模型的基本结构和前向传播公式基本是相同的，但是在误差反向传播方面，存在不同版本的理论公式，虽然大致相同，但还是有很多不同的地方，而且对公式的解释也会各有不同。在研究了多个版本
转载
2024-04-09 21:50:18
223阅读
文章目录优化算法1.SGD损失函数一、回归1.误差平方和SSE (MSE)二、分类1.交叉熵损失函数1. 二分类 交叉熵损失函数 (sigmoid) (BCEWithLogitsLoss / BCELoss)2.多分类交叉熵损失函数(softmax) (CrossEntropyLoss / logsoftmax+NLLLoss实 )激活函数非线性激活函数1.sigmoid函数 (torch.nn
转载
2024-08-11 18:25:12
104阅读
一、激活函数 Sigmoid、tanh、ReLU、LeakyReLU、PReLU、RReLU0.激活函数的作用神经网络为什么需要激活函数：首先数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。所以激活函数的最大特点就是非线性。不同的激活函数，根据其特点，应用也不同。Sigmoid和tanh的特点是将输出限制在(0,1)和(-1,
转载
2024-05-02 07:38:38
87阅读
RNN以及LSTM的介绍和公式梳理2015-07-25 前言好久没用正儿八经地写博客了，csdn居然也有了markdown的编辑器了，最近花了不少时间看RNN以及LSTM的论文，在组内『夜校』分享过了，再在这里总结一下发出来吧，按照我讲解的思路，理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。RNN最近做出了很多非常漂亮的成果，比如Alex Graves的手写文字
转载
2024-07-19 14:48:13
51阅读
人脸识别介绍MTCNN 实现人脸检测，回答了“是不是人脸”和“人脸在哪”的问题，接下来人脸识别要解决的就是“人脸是谁”。 人脸识别是目标识别中的一种，本质上也是分类问题，只不过是同类（人脸）中的细分，因为人脸之间相似度很大，这对损失函数的分类能力提出了更高的要求。损失函数发展下面介绍分类损失函数的主要类型和发展历程，及部分pytorch代码。 效果图来自 MNIST 数据集，将网络模型倒数第二层输
转载
2024-07-23 16:54:31
60阅读
文章目录RNN的结构 RNN的结构RNN的出现主要是为了解决序列信息的，比如nlp句子单词的顺序对句子的影响很大，普通的神经网络无法处理类似的问题。 下图表示循环神经网络的基本结构： 描述当前状态的循环递归公式如下： 这里h_t是t时刻的状态, h_{t-1}是前一时刻的状态，x_t是当前的输入。我们有的是前一时刻的状态而不是前一时刻的输入, 因为输入神经元将前一时刻的输入转换为前一时刻的状态。
转载
2024-08-27 17:09:31
97阅读
深度学习基础：性能评估指标超参数介绍损失函数前言本文主要总结一下常见目标检测的损失函数以及一些基础的函数，主要损失函数为mask-rcnn涉及到的损失函数包括：MSE均方误差损失函数、Cross Entropy交叉熵损失函数目标检测中常用的Smooth L1损失函数focal loss，log lossdice loss ,iou loss损失函数：共分为两类，分类问题的损失，和回归问题的损失。分
转载
2023-12-10 16:11:00
208阅读
几种常见损失函数
转载
2023-05-31 07:47:48
175阅读
昨天复习几种常见loss的时候想起在tensorflow里使用常见loss需要注意的地方，主要是三个方法：1、tf.nn.sigmoid_cross_entropy_with_logits
2、tf.nn.softmax_cross_entropy_with_logits
3、tf.nn.sparse_softmax_cross_entropy_with_logits打不开的话可能需要hhhhhh
转载
2024-07-28 12:14:45
63阅读
建立隐藏层及损失函数引用翻译：《动手学深度学习》通过多类逻辑回归（也称为softmax回归）,将服装图像分为10个可能的类别。为了达到这个目的，我们必须学会如何处理数据,将我们的输出转化为一个有效的概率分布（通过 “softmax”）。如何应用一个适当的损失函数,以及如何对我们的参数进行优化。现在，我们已经涵盖了这些初步的内容。我们就可以把注意力集中在使用深度神经网络设计强大的模型这一更令人兴奋的
转载
2024-05-31 06:37:51
51阅读
参考博客 https://blog.csdn.net/WinterShiver/article/details/103021569 https://zhuanlan.zhihu.com/p/58883095 https://blog.csdn.net/jclian91/article/details ...
转载
2021-07-27 13:36:00
789阅读
2评论
一、什么是损失函数损失函数用来评估模型预测值和真实值之间的差异。模型的损失越小，模型的鲁棒性越好。二、模型与常用损失函数损失函数模型感知损失Perceptron LossPLAHinge损失Hinge LossSVM对数损失Log Loss逻辑回归平方损失Square Loss回归模型绝对值损失Absolute Loss回归模型指数损失Exponential LossAdaboost三、常用的损失
转载
2024-08-20 15:43:31
212阅读
目录一、什么是损失函数？二、为什么需要损失函数？三、损失函数通常使用的位置四、损失函数的分类五、常用的损失函数1、回归损失（针对连续型变量）1.L1 Loss也称为Mean Absolute Error，即平均绝对误差（MAE）2.L2 Loss 也称为Mean Squred Error，即均方差（MSE）3. Smooth L1 Loss 即平滑的L1损失（SLL）锚框损失（参考讲解会更详细）4
常用损失函数和自定义损失函数常用损失函数和自定义损失函数常用损失函数和自定义损失函数#结合focal loss 函数讲解from __future__ import absolute_import, division, print_function, unicode_literalsimport tensorflow as tffrom tensorflow.keras.layers import Dense, Flatten, Conv2Dfrom tensorflow.keras impo
原创
2021-08-02 14:48:54
927阅读
