线性回归预测的是一个连续值， 逻辑回归给出的”是”和“否”的回答逻辑回归 sigmoid函数是一个概率分布函数， 给定某个输入，它将输出为一个概率值多层感知器一层一层的往下映射，sigmoid->(-1,1)值逻辑回归损失函数1.平方差所惩罚的是与损失为同一数量级的情形 （1）mse刻画它的损失非常不恰当，因为它的概率值是在（-1,1），比如真实值是1，区分猫和狗，它的概
转载
2024-06-12 22:11:13
32阅读
PyTorch-05神经网络与全连接（Logistic Regression逻辑回归、交叉熵、交叉熵来优化一个多分类的问题、全连接层（MLP网络层）、激活函数与GPU加速、测试（validation performance）、Visdom可视化）一、Logistic Regression逻辑回归Logistic Regression现在完全被classification分类的相关概念给代替掉了。这
问题引入在之前的文章中也说过为啥LR用sigmod函数，这里着重比较MSE以及交叉熵，关于LR为啥用sigmod函数，分类问题中为啥用交叉熵这些问题，在这里和这里可以找到。问题解答首先来看两者的表达式：可以看到，对于分类问题，实际的标签为0和1，那么交叉熵很多项是不用算的，举个例子， 实际标签是[1,0,0],模型预测得到的概率是[0.9,0.4,0.3],那么交叉熵损失函数的结果是 1log(0
原创
2021-01-29 20:18:53
858阅读
作者按：最近博士毕业论文写完了，这段时间比较闲，准备把我博士毕业论文里比较有意思的一些章节拿出来写成博客，有空就写点，不定期更新。Softmax交叉熵损失函数应该是目前最常用的分类损失函数了，在大部分文章中，Softmax交叉熵损失函数都是从概率角度来解释的（请读者自行搜索），本文将尝试从最优化的角度来推导出Softmax交叉熵损失函数，希望能够启发出更多的研究思路。一般而言，最优化的问题通常需要
二分类与多分类多分类问题的交叉熵损失函数推导与二分类交叉熵损失函数推导的思想是一致的。可以先参考 二分类问题的交叉熵损失函数推导可参考 二分类问题的交叉熵损失函数推导。本文参考deeplearning 一书 6.2.2.3 Softmax Units for Multinoulli Output Distributions好啦，开始步入正题啦～首先要明确一点的是，
之前看到Tensorflow中文社区网站（http://www.tensorfly.cn/tfdoc/tutorials/mnist_beginners.htm）中训练MNIST数据集有一个交叉熵函数，当时不是特别理解，想了很久为什么这个函数就可以表示代价函数，后来经过学习吴恩达课程之后明白了，如果有初学者一开始想不明白这个函数，可以参考我以下的解释： 首先训练MNIST数据集的算法采用的是分类
转载
2024-05-06 23:02:42
74阅读
什么是逻辑回归线性回归预测的是一个连续值，逻辑回归给出的“是”和“否”的回答。Sigmoid函数是一个概率分布函数，给定某个输入，它将输出为一个概率值。逻辑回归损失函数平方差所惩罚的是与损失为同一数量级的情形。对于分类问题，我们最好的使用交叉熵损失函数会更有效。交叉熵会输出一个更大的“损失”。交叉熵损失函数交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就
转载
2024-03-28 16:36:48
51阅读
逻辑回归主要是给出“是”和“否”的回答，使用Sigmoid激活函数：需要用到激活函数：Sigmoid函数，将输入数据控制在0到1之间并输出。将0到1之间的值可以看着是一种概率值，当概率值小于0.5时，输出了一个负面的回答；当概率值大于0.5时，认为它给出了一个正面的回答。sigmoid是一个概率分布函数，给定某个输入，它将输出为一个概率值。把这种0到1之间的值看作是这个网络给出的概率结果逻辑回归损失函数平方差损失所反映的是损失和原有数据集在同一数量级的情形，对于庞大的数据集而言，需要迭代次数更多
原创
2022-01-17 18:16:45
176阅读
每次都是看了就忘，看了就忘，从今天开始，细节开始，推一遍交叉熵。 我的第一篇CSDN，献给你们（有错欢迎指出啊）。一.什么是交叉熵交叉熵是一个信息论中的概念，它原来是用来估算平均编码长度的。给定两个概率分布p和q，通过q来表示p的交叉熵为： 注意，交叉熵刻画的是两个概率分布之间的距离，或可以说它刻画的是通过概率分布q来表达概率分布p的困难程度，p代表正确答案，
转载
2024-09-29 13:11:24
43阅读
Cross Entropy Method(CE method)是一种进化策略算法，它虽然也是基于交叉熵，但并不是我们熟知的监督学习中的交叉熵方法。这个算法的核心是一个参数优化的过程。CE method已经成功应用于不同范围的估计和优化问题，包括缓冲区分配、信号检测、DNA排序、交通控制以及神经网络和强化学习等领域。cross-entropy方法的基础是重要性采样，有以下公式表示： 在强化学习领域，
转载
2024-07-25 16:41:17
25阅读
本文从概率、梯度和直观三个角度说明为何分类问题使用交叉熵损失而非 MSE 损失
原创
2022-11-22 10:28:28
1413阅读
交叉熵损失是深度学习中应用最广泛的损失函数之...
转载
2020-01-12 15:27:00
264阅读
2评论
eep learning：五十一(CNN的反向求导及练习)
前言： CNN作为DL中最成功的模型之一，有必要对其更进一步研究它。虽然在前面的博文Stacked CNN简单介绍中有大概介绍过CNN的使用，不过那是有个前提的：CNN中的参数必须已提前学习好。而本文的主要目的是介绍CNN参数在使用bp算法时该怎么训练，毕竟CNN中有卷积层和下采样层，虽然和MLP的bp算法本质上相同，但
转载
2023-08-22 12:08:30
149阅读
在上一集《你在，或者不在，需要逻辑回归来算》里，我们初次认识了一种新的统计学方法——逻辑回归。和线性回归相比，逻辑回归能帮助我们应对一种新的情况：因变量是二元变量（通常表现为是/否，数值上分别用1或0表示）。相信你还会记得，一个包含k个自变量、不包括交互效应项的逻辑回归模型长这个样子： 等式右边与线性回归十分相似，包含一个截距，再依次加上各个自变量与其回归系数的乘积。而逻辑回归与线性回归的根本区别
转载
2024-05-06 23:01:54
30阅读
机器学习概念：1.有监督学习： 从以标记的训练数据来训练模型。2.无监督学习： 从未标记的训练数据来训练模型。3.泛化能力： 对未知数据的预测能力。4.过拟合： 选择的模型包含参数过多，以至于该模型对于已知数据的预测很好，但对于未知数据预测很差，使得训练误差和测试误差之间差距过大。5.欠拟合： 选择的模型包含参数过少，以至于该模型对于已知数据的预测很差，使得训练误差较大。6.交叉验证： 将训练样本
转载
2024-09-20 20:09:35
49阅读
还是废话不说，直接上峰神的链接Softmax理解之Smooth程度控制 softmax交叉熵我们经常使用，但是为啥有的任务，用softmax交叉熵效果很好，有的任务用效果却不怎么样。在实际项目中，分析softmax交叉熵的缺点，才能知道，什么时候有用，失效的怎么去优化。 不要总是当个黑盒子，什么情况下都用，精度上不去的时候，又不知道怎么去优化。softmax交叉熵为啥会有不管用的时候呢，原因很简单
转载
2024-04-19 11:49:45
71阅读
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 2.什么是熵？ 可以看出，当两种取值的可能性相等时，不确定度最大（此时没有任何先验知识），这个结论可以推广到多种取值的情况。在图中也可以看出，当p=0或1时，
转载
2018-05-10 16:59:00
308阅读
2评论
上一篇译文《香农熵》中介绍了熵的由来及其计算公式的产生，这篇译文介.
翻译
2022-08-04 22:48:42
288阅读
关于交叉熵的定义与解释，请看这篇文章：
https://baijiahao.baidu.com/s?id=1618702220267847958&wfr=spider&for=pc
给定一个策略, 交叉熵就是在该策略下猜中颜色所需要的问题的期望值。更普遍的说，交叉熵用来衡量在给定的真实分布下，使用非真实分布所指定的策略消除系统的不确定性所需要付出成本的大小。交叉的字面意思在于：真
原创
2021-07-09 14:53:47
1122阅读
什么是交叉熵交叉熵（Cross-entropy）是信息论中一个常用的度量方式，常用于衡量两个概率分布之间的差异。在机器学习中，交叉熵常用于衡量真实概率分布与预测概率分布之间的差异，用于评估分类模型的性能。假设有两个概率分布 P 和Q，则它们的交叉熵为：其中，P(x) 表示事件 x 在真实分布中的概率，Q(x) 表示事件x 在预测分布中的概率，log 表示自然对数。交叉熵越小，表示预测分布越接近真实
转载
2023-09-25 08:54:31
85阅读
