关于NCE loss：知乎上的一些介绍的文字 https://zhuanlan.zhihu.com/p/58369131
github上的介绍文字：https://leimao.github.io/article/Noise-Contrastive-Estimation/
NCE bridges the gap between generative models and discriminati
原创
2021-06-29 14:44:57
8694阅读
FRN（Feature Pyramid Networks）Feature Pyramid（特征金字塔）,可以用于检测不同尺度的目标，将图片缩放到不同尺寸大小，并分别提取其特征并进行检测。FPN结构使用少量成本，利用CNN卷积网络固有的多尺度金字塔层次结构来构建特征金字塔，结合一种带有侧向连接的自顶向下的结构，实现了多尺度特征融合。核心思路：1、高层网络（深层网络）：语义信息丰富、表征能力强，但特征
转移指令由于其自身的特殊性，总是会给我们带来一些麻烦。那对于流水线处理器来说，更是如此，转移指令会带来更多不良的影响。那我们应该如何应对和解决呢？这一节我们就来探索这个问题。我们先来看一看转移指令对流水线的影响。这是一条时间轴，每一小格都代表着一个时钟周期。那对于5级流水线来说，5个时钟周期执行完一条指令，但是每一个时钟周期都可以读入一条指令，并且从第五个时钟周期之后，每个时钟周期也都
❝
这两天在看 word2vec 的源码，发现其损失函数不是 多元交叉熵，而是 NCE，于是查了下资料，看到了这篇博文，分享一下。
❞
先看看tensorflow的nce-loss的API：
def nce_loss(weights, biases, inputs, labels, num_sampled, num_classes, num_true=1,
转载
2021-07-12 13:37:55
498阅读
背景 对比学习损失函数有多种，其中比较常用的一种是InfoNCE loss。最近学习实现了SGL推荐系统算法，对InfoNCE Loss做一个总结。 InfoNCE Loss损失函数是基于对比度的一个损失函数，是由NCE Loss损失函数演变而来。那为
转载
2024-05-02 16:37:36
185阅读
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm 前言今天在 QQ 群里的讨论中看到了 Focal Loss，经搜索它是 Kaiming 大神团队在他们的论文 Focal Loss for Dense Object Detection 提出来的损失函数，利用它改善了图像物体检测的效果。不过我很少做图像任务，不怎么关心图像方面的应
转载
2024-05-07 11:42:37
627阅读
import cv2 from random import shuffleimport numpy as npimport torchimport torch.
原创
2021-08-02 14:20:39
680阅读
目录一、cross entropy loss二、weighted loss三、focal loss四、dice soft loss五、soft IoU loss总结：一、cross entropy loss用于图像语素对应的损失
原创
2024-04-11 14:29:28
467阅读
损失函数在之前写期望风险的时候其实已经提过这个概念了，再补充一下损失函数定义：损失函数就一个具体的样本而言，模型预测的值与真实值之间的差距。对于一个样本（xi,yi）其中yi为真实值，而f（xi）为我们的预测值。使用损失函数L（f(xi),yi）来表示真实值和预测值之间的差距。两者差距越小越好，最理想的情况是预测值刚好等于真实值。进入正题~categorical_cross...
原创
2021-08-13 09:42:53
1204阅读
021-07-23 09:43:04.902503: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Li ...
转载
2021-07-23 09:51:00
1589阅读
2评论
train loss 不断下降，test loss不断下降，说明网络仍在学习;（最好的）train loss 不断下降，test loss趋于不变，说明网络过拟合;（max pool或者正则化）train loss 趋于不变，test loss不断下降，说明数据集100%有问题;（检查dataset
转载
2019-07-30 15:35:00
310阅读
2评论
框架：thinkphp风和日丽的下午和挖洞更配，网上找的小网站然后从前端漏洞直接sql注入，拿到了后台的账密，但是password加密过。正当一筹莫展的时候找了下cms的指纹信息从旁站弱口令进去找了个上传点直接把源码down了下来。 获取完源码就想分享一下解密脚本怎么去写，以及加密的函数如何去破解，以及通常情况下的解密脚本如何去获取。 首先拿到源码，如果是找sql注入类的漏我的思路一定是要搜索”d
转载
2024-04-30 17:22:54
67阅读
train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于
转载
2022-03-08 10:19:23
430阅读
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
转载
2024-08-21 19:26:25
57阅读
一、Loss Function 什么是Loss Function？wiki上有一句解释我觉得很到位，引用一下：The loss function quantifies the amount by which the prediction deviates from the actual values。Loss Function中文损失函数，适用于用于统计，经济，机器学习等领域，虽外表形式不一，但
转载
2024-06-13 21:58:06
51阅读
Vali Loss: nan Test Loss: nan Training loss is decreasing while validation loss is NaN https://discuss.pytorch.org/t/training-loss-is-decreasing-while
原创
2023-10-31 14:21:02
108阅读
经搜索它是Kaiming大神团队在他们的论文《Focal Loss for Dense Object Detection》提出来的损失函数，利用它改善了图像物体检测的效果。不过我很少做图像任务，不怎么关心图像方面的应用。本质上讲，focal loss就是一个解决分类问题中类别不平衡、分类难度差异的一个loss，总之这个工作一片好评就是了。大家还可以看知乎的讨论：《如何评价kaiming的Foc...
原创
2021-05-07 18:23:53
645阅读
Ranking Loss Ranking loss在广泛的领域被使用。它有很多别名，比如对比损失(Contrastive Loss)，边缘损失(Margin Loss)，铰链损失(Hinge Loss)。还有常见的三元组损失(Triplet Loss)。 首先说一下什么是度量学习： 区别于常见的分类 ...
转载
2021-08-04 13:12:00
557阅读
DiceLoss介绍 Desc: Generalised Dice overlap as a deep learning loss function for highly unbalanced segmentations； 骰子损失 Tags: 损失函数, 骰子损失 资源链接：https://zhu
转载
2021-05-26 22:56:23
1886阅读
1. 损失函数分类任务0-1损失交叉熵损失（entropy loss）softmax lossKL散度Hinge loss（SVM中）Exponential loss与Logistic loss回归任务L1 lossL2 loss【重要】L1与L2损失函数和正则化的区别L1与L2L1 loss与L2 loss的改进原始的L1 loss和L2 loss都有缺陷，比如L1 loss的最大问题是梯度不平
