什么是熵（entropy）？1.1 熵的引入 事实上，熵的英文原文为entropy，最初由德国物理学家鲁道夫·克劳修斯提出，其表达式为： 它表示一个系系统在不受外部干扰时，其内部最稳定的状态。后来一中国学者翻译entropy时，考虑到entropy是能量Q跟温度T的商，且跟火有关，便把entropy形象的翻译成“熵”。&nbs
# 使用Python实现交叉熵函数
交叉熵是机器学习中常用的损失函数，尤其是在分类问题中。它衡量了两个概率分布之间的差异，尤其是一个分布是模型的输出，而另一个分布是真实标签。在这篇文章中，我将引导你一步一步地用Python实现交叉熵函数。
## 流程概述
下面是实现交叉熵函数的主要步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 导入必要的库 |
| 2
原创
2024-08-29 08:59:21
80阅读
前言说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。 minist手写数字识别就是用交叉熵作为代价函数。 1.从方差代价函数说起 代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】
转载
2023-12-21 21:46:08
49阅读
本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。联合熵联合集 XY 上, 对联合自信息 的平均值称为联合熵:当有n个随机变量 , 有信息熵与热熵的关系信息熵的概念是借助于热熵的概念而产生的。信息熵与热
原创
精选
2023-02-22 10:30:07
306阅读
一、分类问题损失函数——交叉熵（crossentropy）交叉熵刻画了两个概率分布之间的距离，是分类问题中使用广泛的损失函数。给定两个概率分布p和q，交叉熵刻画的是两个概率分布之间的距离： 我们可以通过Softmax回归将神经网络前向传播得到的结果变成交叉熵要求的概率分布得分。在TensorFlow中，Softmax回归的参数被去掉了，只是一个额外的处理层，将神经网络的输出变成一个概率分
转载
2023-10-18 17:44:53
408阅读
一：自信息二：信息熵三：联合熵四：条件熵五：交叉熵六：相对熵（KL散度）七：总结
原创
2022-12-14 16:26:04
442阅读
在统计学中，损失函数是一种衡量损失和错误（这种损失与“错误地”估计有关，如费用或者设备的损失）程度的函数。假设某样本的实际输出为a，而预计的输出为y，则y与a之间存在偏差，深度学习的目的即是通过不断地训练迭代，使得a越来越接近y，即 a - y →0，而训练的本质就是寻找损失函数最小值的过程。 常见的损失函数为两种，一种是均方差函数，另一种是交叉熵函数。对于深度学习而言，交叉熵函数
转载
2024-01-19 15:55:19
126阅读
习题 2-1 分析为什么平方损失函数不适用于分类问题 , 交叉熵损失函数不适用于回归问题.平方损失函数: 平方损失函数较为容易理解，它直接测量机器学习模型的输出与实际结果之间的距离，为学习模型的输出，为实际结果。交叉熵损失函数: 交叉熵是用来评估当前训练得到的概率分布与真实分布的差异情况，减少
转载
2024-10-08 14:09:54
47阅读
# Python已知联合分布求熵
熵（Entropy）是信息论中的一个重要概念，通常用来衡量一个随机变量的不确定性。在概率论中，我们可以通过联合分布来计算多个随机变量的熵。本文将介绍如何在Python中根据已知联合分布来计算熵，并提供相应的代码示例。
## 什么是熵？
熵是信息的一种度量，表示系统的信息量和不确定性。对于离散随机变量 \(X\)，其熵定义为：
\[
H(X) = -\sum
文章目录前言一、交叉熵是什么？二、解决sigmoid激活函数的问题2.1.sigmoid损失函数存在的问题2.2.构造新函数——交叉熵三、从极大似然估计推导四、从KL散度推导总结 前言最近在学习自然语言处理，其中大量模型涉及到了用softmax层作为输出，再用交叉熵（cross-entropy loss）作为损失函数。 在此回忆一下交叉熵损失函数，并从3个方面：为了解决sigmoid激活函数的问
转载
2023-11-30 10:04:59
38阅读
机器学习优化中的交叉熵及改进形式
【摘要】目前分类问题广泛的应用到我们的实际生活中[1]，因而我们应该研究如何分类，研究它的算法。交叉熵通常在机器学习的分类问题中用作损失函数来判断分类模型的优劣，即把交叉熵当做损失函数。在实际的使用过程中，有时会不加区分交叉熵和相对熵，或者说用交叉熵代替相对熵。本文将从三个方面对机器学习优化中的交叉熵进行综述，分别是交叉熵的定义和理论推导，交
转载
2023-12-06 23:38:14
140阅读
深度学习中交叉熵损失函数背景，公式推导详解首先，我们来看下交叉熵损失函数的表达式： 其中上面那个方程式是用于计算最后一层激活函数为softmax函数的交叉熵损失函数，下面这个是用于计算最后一层激活函数为sigmoid函数的交叉熵损失函数。 下面我将从为什么使用交叉熵函数、交叉熵函数数学推导、为什么对于sigmoid和softmax两个函数的交叉熵损失函数有差别这三个方面来讲讲我的理解：一、为什么使
转载
2023-12-10 16:34:31
116阅读
————————————————
原创
2023-10-30 17:29:43
132阅读
# 计算离散联合概率的熵：Python 实践与应用
在信息论中，熵是量化信息量的一种方法。对于离散随机变量，可以通过联合概率分布来计算熵。本文将通过 Python 示例，帮助大家理解如何计算离散联合概率的熵。为了更好地展示该过程，我们还将用序列图和关系图来可视化。
## 1. 概念讲解
在开始之前，我们需要了解一些基本概念。
- **熵（Entropy）**：熵是表示随机变量不确定性的度量
分类问题中，预测结果是（或可以转化成）输入样本属于n个不同分类的对应概率。比如对于一个4分类问题，期望输出应该为 g0=[0,1,0,0] ，实际输出为 g1=[0.2,0.4,0.4,0] ，计算g1与g0之间的差异所使用的方法，就是损失函数，分类问题中常用损失函数是交叉熵。交叉熵（cross entropy）描述的是两个概率分布之间的距离，距离越小表示这
转载
2023-12-17 07:23:25
27阅读
目录标题常见的损失函数1、分类任务1.1 多分类任务1.2 二分类任务2、 回归任务2.1 MAE损失2.2 MSE损失2.3 smooth L1损失总结 常见的损失函数损失函数：衡量模型参数的质量的函数，衡量方式是比较网络输出和真实输出的差异。ybar与y 之间的差异 损失函数、代价函数、目标函数、误差函数 虽然叫法不同，但都是一样的。1、分类任务在分类任务中最多使用的是交叉熵损失函数，下面分
转载
2024-05-29 02:09:59
417阅读
一、熵对于离散型随机变量，当它服从均匀分布时，熵有极大值。取某一个值的概率为1，取其他所有值的概率为0时，熵有极nt Entropy）是熵对多维概...
原创
2024-04-11 14:31:04
374阅读
欢迎来到theFlyer的博客—希望你有不一样的感悟前言：交叉熵损失函数。1. 损失函数机器学习算法都或多或少的依赖于对目标函数最大化或者最小化的过程，常常把最小化的函数称为损失函数，它主要用于衡量机器学习模型的预测能力。损失函数可以看出模型的优劣，提供了优化的方向，但是没有任何一种损失函数适用于所有的模型。损失函数的选取依赖于参数的数量、异常值、机器学习算法、梯度下降的效率、导数求取的难易和预测
转载
2023-11-23 18:41:56
88阅读
信息熵 信息量和信息熵的概念最早是出现在通信理论中的，其概念最早是由信息论鼻祖香农在其经典著作《A Mathematical Theory of Communication》中提出的。如今，这些概念不仅仅是通信领域中的基础概念，也被广泛的应用到了其他的领域中，比如机器学习。 信息量用来度量一个信息的
原创
2022-01-14 16:46:37
1706阅读
之前我在（一）中说，分类不采用平方差作为损失函数的原因是损失函数是一个非凸函数，容易陷入局部最优，不利于找到相对的全局最优解。这样的解释我感觉太宽泛。今天我换种思路理解下不采用MSE的原因：首先理解“交叉熵“：我最开始接触熵的概念是在高中化学中，一个描述化学反应体系混乱度的物理量，大学接触是在信息论中，变为了衡量信息量多少的物理量。而在深度学习损失函数中的熵，我理解的应该和信息论差不多，用来衡量信
转载
2024-06-17 12:29:03
71阅读
