《Ring loss: Convex Feature Normalization for Face Recognition》 2018，Yutong Zheng et al. Ring loss引言： 本文提出了Ring loss，一种简单的深层网络特征归一化方法，用于增强诸如Softmax之类的标准损失函数。我们认为，深度特征归一化是有监督分类问题的一个重要方面，我们需要模型在多类问题中平等地表
转载
2024-05-26 20:46:24
56阅读
一、概述：1. RNN Encoder–Decoder for Statistical Machine Translation论文连接：http://emnlp2014.org/papers/pdf/EMNLP2014179.pdf2. 摘要：在本文中，作者提出了一种称为RNN编码器-解码器的新型神经网络模型-由两个循环解码器组成神经网络。一个RNN作为编码器将一系列符号编码为固定长度的向量表示，
转载
2024-07-01 07:38:46
63阅读
● 每周一言道理是表，知识是里。导语最近工作中用到了循环神经网络（Recurrent Neural Networks），感觉网上的各种资料包括相关论文及技术博客等等，似乎都不能足够细致清晰的给出推导步骤。因此于周日闲暇时光试推公式，却陷于时间维度的反向传播推导之中，直到昨晚才恍然大悟。在这里与大家分享我的推导，也便于日后温习与查阅。循环神经网络上周概述了神经网络，了解到神经网络是由一层一层的神经元
机器视觉的集成和设计面临各种来自硬件、软件和电子方面问题的挑战，如果忽视光学性能规格，不了解如何评估光学器件，用户挑选合适的机器视觉镜头将会面临挑战。通过了解10项镜头规格，可以帮助集成商和用户挑选镜头，来优化或评估各自系统的性能。
视觉系统光学性能的4项最基本参数是视野（field of view）、分辨率resolution、工作距离working distance和景深dept
转载
2024-02-27 15:26:34
36阅读
GMM-HMM声学模型实例详解GMM-HMM为经典的声学模型，基于深度神经网络的语音识别技术，其实就是神经网络代替了GMM来对HMM的观察概率进行建模，建模解码等识别流程的格个模块仍然沿用经典的语音识别技术
接下来我将从GMM、最大似然估计到EM算法实例，再到最后使用一段语音介绍GMM-HMM声学模型参数更新过程一、GMM (混合高斯分布)1、正态分布(高斯分布)如果你绘制出来的概率分布是一条钟型
转载
2024-06-25 21:15:51
59阅读
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm 前言今天在 QQ 群里的讨论中看到了 Focal Loss，经搜索它是 Kaiming 大神团队在他们的论文 Focal Loss for Dense Object Detection 提出来的损失函数，利用它改善了图像物体检测的效果。不过我很少做图像任务，不怎么关心图像方面的应
转载
2024-05-07 11:42:37
627阅读
import cv2 from random import shuffleimport numpy as npimport torchimport torch.
原创
2021-08-02 14:20:39
688阅读
目录一、cross entropy loss二、weighted loss三、focal loss四、dice soft loss五、soft IoU loss总结：一、cross entropy loss用于图像语素对应的损失
原创
2024-04-11 14:29:28
471阅读
损失函数在之前写期望风险的时候其实已经提过这个概念了，再补充一下损失函数定义：损失函数就一个具体的样本而言，模型预测的值与真实值之间的差距。对于一个样本（xi,yi）其中yi为真实值，而f（xi）为我们的预测值。使用损失函数L（f(xi),yi）来表示真实值和预测值之间的差距。两者差距越小越好，最理想的情况是预测值刚好等于真实值。进入正题~categorical_cross...
原创
2021-08-13 09:42:53
1209阅读
021-07-23 09:43:04.902503: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Li ...
转载
2021-07-23 09:51:00
1589阅读
2评论
train loss 不断下降，test loss不断下降，说明网络仍在学习;（最好的）train loss 不断下降，test loss趋于不变，说明网络过拟合;（max pool或者正则化）train loss 趋于不变，test loss不断下降，说明数据集100%有问题;（检查dataset
转载
2019-07-30 15:35:00
310阅读
2评论
关于NCE loss：知乎上的一些介绍的文字 https://zhuanlan.zhihu.com/p/58369131
github上的介绍文字：https://leimao.github.io/article/Noise-Contrastive-Estimation/
NCE bridges the gap between generative models and discriminati
原创
2021-06-29 14:44:57
8694阅读
train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于
转载
2022-03-08 10:19:23
430阅读
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
转载
2024-08-21 19:26:25
57阅读
一、Loss Function 什么是Loss Function？wiki上有一句解释我觉得很到位，引用一下：The loss function quantifies the amount by which the prediction deviates from the actual values。Loss Function中文损失函数，适用于用于统计，经济，机器学习等领域，虽外表形式不一，但
转载
2024-06-13 21:58:06
51阅读
Vali Loss: nan Test Loss: nan Training loss is decreasing while validation loss is NaN https://discuss.pytorch.org/t/training-loss-is-decreasing-while
原创
2023-10-31 14:21:02
108阅读
经搜索它是Kaiming大神团队在他们的论文《Focal Loss for Dense Object Detection》提出来的损失函数，利用它改善了图像物体检测的效果。不过我很少做图像任务，不怎么关心图像方面的应用。本质上讲，focal loss就是一个解决分类问题中类别不平衡、分类难度差异的一个loss，总之这个工作一片好评就是了。大家还可以看知乎的讨论：《如何评价kaiming的Foc...
原创
2021-05-07 18:23:53
645阅读
Ranking Loss Ranking loss在广泛的领域被使用。它有很多别名，比如对比损失(Contrastive Loss)，边缘损失(Margin Loss)，铰链损失(Hinge Loss)。还有常见的三元组损失(Triplet Loss)。 首先说一下什么是度量学习： 区别于常见的分类 ...
转载
2021-08-04 13:12:00
557阅读
DiceLoss介绍 Desc: Generalised Dice overlap as a deep learning loss function for highly unbalanced segmentations； 骰子损失 Tags: 损失函数, 骰子损失 资源链接：https://zhu
转载
2021-05-26 22:56:23
1886阅读
1. 损失函数分类任务0-1损失交叉熵损失（entropy loss）softmax lossKL散度Hinge loss（SVM中）Exponential loss与Logistic loss回归任务L1 lossL2 loss【重要】L1与L2损失函数和正则化的区别L1与L2L1 loss与L2 loss的改进原始的L1 loss和L2 loss都有缺陷，比如L1 loss的最大问题是梯度不平
