softmax_loss中的ignore_label是来自于loss layer，而不是softmax_loss的参数
转载
2018-02-04 20:46:00
112阅读
2评论
outer_num_：相当于batch_size dim: c*w*h spatial_dim(inner_num_):w*h softmax_loss.cpp的代码: 其实可以看出来count的只取前,不取后,(0, softmax_axis_)只取了0这一个轴
转载
2018-02-27 15:25:00
106阅读
2评论
softmax 在 Logistic Regression 里起到的作用是将线性预测值转化为类别概率1.最大似然估计通常使用log-likelihood，并且是negative log-likelihood，将最大化转换为最小化2.softmax loss是将softmax和最大似然估计结合起来 softmax-loss原本公式如下：j表示的是第几个类别，由于gt只有一个类别，所以公式简化为：
转载
2017-05-01 15:46:00
547阅读
2评论
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层
原创
2021-07-16 17:03:08
713阅读
背景 梯度下降链式法则 连锁影响(可以看出x会影响y，y会影响z) BP主要用到了chain rule反向传播（1）损失函数(Loss function)是定义在单个训练样本上的，也就是就算一个样本的误差，比如我们想要分类，就是预测的类别和实际类别的区别，是一个样本的，用L表示。 （2）代价函数(Cost function)是定义在整个训练集上面的，也就是所有样本的误差的总和的平均，也就是损失函数
cnn网络中，网络更新一次参数是根据loss反向传播来，这个loss是一个batch_size的图像前向传播得到的loss和除以batch_size大小得到的平均loss。 softmax_loss前向传播中有这样一段代码： loss/get_normalizer(normalization_,va
转载
2018-03-01 14:28:00
413阅读
2评论
https://blog..net/u0109753/article/details/78488279 1. 损失函数 损失函数（Loss function）是用来估量你模型的预测值 f(x)f(x) 与真实值 YY 的不一致程度，它是一个非负实值函数，通常用 L(Y,f(x))L(Y,
转载
2018-04-02 11:40:00
310阅读
2评论
损失函数在机器学习中的模型非常重要的一部分，它代表了评价模型的好坏程度的标准，最终的优化目标就是通过调整参数去使得损失函数尽可能的小，如果损失函数定义错误或者不符合实际意义的话，训练模型只是在浪费时间。 所以先来了解一下常用的几个损失函数hinge loss(合页损失)、softmax loss、c
原创
2021-05-24 11:12:18
1854阅读
文章目录一、softmax二、损失函数loss1、均值平方差2、交叉熵3、损失函数的选取三、softmax 算法与损失函数的综合应用1 验证softmax_cross_entropy_with_logits包含softmax函数2 验证非标准one_hot的交叉熵 结果对于错误分类不明显3 验证labels = [2 , 1] 即
原创
2022-11-25 09:19:21
575阅读
文章目录1.简介2.子模损失函数的优化替代前景-背景分割多分类语义分割3.并集上的交集优化
翻译
2022-12-04 08:12:00
773阅读
多分类问题 在一个多分类问题中，因变量y有k个取值，即。例如在邮件分类问题中，我们要把邮件分为垃圾邮件、个人邮件、工作邮件3类，目标值y是一个有3个取值的离散值。这是一个多分类问题，二分类模型在这里不太
转载
2021-11-30 10:57:13
1044阅读
多分类问题 在一个多分类问题中，因变量y有k个取值，即。例如在邮件分类问题中，我们要把邮件分为垃圾邮件、个人邮件、工作邮件3类，目标值y是一个有3个取值的离散值。这是一个多分类问题，二分类模型在这里不太适用。 多分类问题符合多项分布。有许多算法可用于解决多分类问题，像决策树、朴素贝
转载
2022-11-29 20:26:13
496阅读
因为softmax_cross_entropy_with_logits传入的labels要是one-hot的，labels和logits的shape相同转化方法
原创
2022-07-19 11:47:37
87阅读
条件熵 使$P(y|x)$熵最大，这么求？ $H^{(A)}=-\sum_{i=1}^nP(y_i^{(1)}|x)\log P(y_i^{(1)}|x)$ $H^{(B)}=-\sum_{i=1}^nP(y_i^{(2)}|x)\log P(y_i^{(2)}|x)$ 条件熵:=$H(Y|X)=- ...
转载
2021-10-22 14:02:00
113阅读
2评论
1.2 Softmax 回归（Softmax regression） 有一种 logistic回归的一般形式，叫做 Softmax 回归，能让你在试图识别某一分类时做出预测，或者说是多种分类中的一个.假设你不单需要识别猫，而是想识别猫，狗和小鸡，我把猫加做类 1，狗为类 2，小鸡是类 3，如果不属于 ...
转载
2021-07-27 20:19:00
162阅读
2评论
softmax的主要工作就是将预测出来的结果，用概率来表示，并将总的概率相加为1 通过全连接层输出的预测结果有正有负，那为什么有负数呢？ 是因为参数或者激活函数的问题 将预测结果转换为概率主要分为两步： 1、将所有的负数变为正数，并不能改变与原正数的相对大小 $y = e^x$指数函数恰好能满足这个 ...
转载
2021-09-24 18:54:00
533阅读
2评论
文章首发于微信公众号《有三AI》【AI-1000问】softmax loss和交叉
原创
2022-10-12 14:55:32
83阅读
