1、信息熵 (information entropy)熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shannon entropy)，信息熵 (information entropy)。本文只讨论信息熵。首先，我们先来理解一下信息这个概念。信息是一个很抽象的概念，百度百科将它定义为：指音讯、消息、通讯系统
信息熵在人工智能领域有着举足轻重的作用，在分类的算法中常利用信息熵设计损失函数推导出最优数学模型，softmax函数是一种处理数据手段，一般会出现在模型最后阶段，比如各种神经网络的最后一层，softmax函数可把任意维度数据（一般表现为向量） 处理成概率形式，这样就可以用交叉熵的方法得到与真实概率分布之间损失进而优化模型参数。本篇先介绍信息熵、交叉熵、相对熵，然后
转载
2021-04-07 21:11:00
448阅读
熵的应用（一）——工作学习中的一点体会最近在做一个广告重点词的项目，用到了最大熵做特征，感觉这个概念经常被用到，比如最大熵隐马，条件随机场，都有涉及，这里总结一下。目录： 一、含义 二、公式 三、公式理解 四、小应用 五、最大熵模型一、 含义 熵是一个算法经常用到的概念，通俗来说就是越平均熵越大，并且这个世界里的东西一定是趋向于熵最大。比如冰火在一起，一定是趋于平均温度。有钱人和没钱人
转载
2023-09-07 15:23:48
190阅读
交叉熵的理解：理解交叉熵的时候勿引入熵的概念来理解 结论理解交叉熵的时候勿引入熵的概念来理解原因每当我试图交叉熵的时候，网上找的科普文章都会引入熵的概念，说要从熵的概念入手，然后感觉自己更加迷茫了。 然后一堆名词就过来了，如信息量、熵、概率、相对熵、交叉熵等等理解但是其实完全不用管它，不用管熵这个概念，直接损失函数的目的出发。 损失函数是寻找预测的标签与真实标签的差异，均方误差（MSE）、均方根
转载
2024-06-09 08:16:53
34阅读
熵值（entropy）的定义历史： 1865年德国物理学家克劳修斯《热力学》中提出： 熵增原理，一个系统的混乱度，实际发生过程中，总是系统的熵值趋于增大。1877年玻尔兹曼《统计物理学》证明：系统的宏观物理性质，可以认为是所有可能微观状态的等概率统计平均值。我们将熵看作是一个系统“混乱程度”的度量，因为一个系统越混乱，可以看作是微观状态分布越均匀。1948年香农 在信号通信领域《信息论》提出信息熵
转载
2024-01-02 10:27:53
294阅读
此熵不是智商、情商、逆境商。最开始是热力学的概念，后来被祖师爷香农用来表示信息/信源的不确定度。自信息量信源符号 \(x_i\) 本身的不确定度，称为其自信息量，记为 \(I(x_i)\)\[I(x_i) = H(x_i) = \log_2\frac{1}{p(x_i)}\]单符号离散信源的熵如果一个单符号离散无记忆信源的信息符号可以表示为一个独立的离散随机变量 \(X\)，则称这个随机变量的平均...
原创
2021-05-30 21:26:44
649阅读
转载
2018-04-07 15:12:00
362阅读
2评论
Alias Method:时间复杂度O(1)的离散采样方法【数学】均匀分布生成其他分布的方法采样方法(Sampling Method)
原创
2021-08-04 10:53:56
344阅读
问题：熵是什么？熵存在的意义是啥？为什么叫熵？答案：在机器学习中熵是表征随机变量分布的混乱程度，分布越混乱，则熵越大，在物理学上表征物质状态的参量之一，也是体系混乱程度的度量； 熵存在的意义是度量信息量的多少，人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少，这时熵的意义就体现出来了； 熵词的由来是1923年胡刚复教授根据热温商之意翻译而来，此次不深究。自信息信息熵条件熵交叉
转载
2024-01-17 13:43:33
118阅读
实现“机器学习 交叉熵”的步骤如下：
步骤 | 代码 | 说明
--- | --- | ---
1 | import numpy as npimport math | 导入需要的库：numpy用于数值计算，math用于数学计算。
2 | def cross_entropy(y, y_pred): return -np.mean(y * np.log(y_pred) + (1 - y) *
原创
2023-12-29 08:45:14
25阅读
交叉熵损失函数（Cross Entropy） 一般来说，Cross Entropy损失函数常用于分类问题中，十分有效。 说到分类问题，与之相关的还有回归问题，简述两者区别： 回归问题，目标是找到最优拟合，用于预测连续值，一般以区间的形式输出，如预测价格在哪个范围、比赛可能胜利的场数等。其中，y_hat表示预测值，y表示真实值，二者差值表示损失。常见的算法是线性回归（LR）。 分类问题，目标
转载
2023-08-25 21:04:17
158阅读
1 信息量首先是信息量。假设我们听到了两件事，分别如下： 事件A：巴西队进入了2018世界杯决赛圈。 事件B：中国队进入了2018世界杯决赛圈。 仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有
近似熵理论相关知识与代码实现近似熵（ApEn）是一种用于量化时间序列波动的规律性和不可预测性的非线性动力学参数，它用一个非负数来表示一个时间序列的复杂性，反映了时间序列中新信息发生的可能性，越复杂的时间序列对应的近似熵越大[1].[1]. Pincus, S. M. (1991). “Approximate entropy as a measure of system complexity”. P
转载
2024-01-29 15:26:31
170阅读
和一个伟大的方式编写脚本时节省时间的另一个短语。 代码片段不仅可以减少您在编码时的击键； 他们还节省了您的搜索时间，以尝试查找六个月前就正确而又不再记得的复杂代码。 这是它们在RStudio中的工作方式以及如何制作自己的作品。 样本图 由于我对例如无处不在的mtcar和虹膜数据集有些厌倦，因此我将在此演示中使用一些有关IT Manager薪水的信息（来自Computerworld薪水调查
# 熵在机器学习中的应用
熵（Entropy）是信息理论中的重要概念，用于衡量系统的不确定性。熵在机器学习中有着广泛应用，特别是在决策树和随机森林等算法中。本文将介绍熵的概念、计算方法以及在机器学习中的具体应用，并提供示例代码。
## 熵的定义
熵是信息理论中的度量，用于衡量一个随机变量的不确定性。对于一个离散随机变量X，其熵定义如下：
是随机变量
原创
2023-07-06 08:37:31
301阅读
交叉熵：设p(x)、q(x)是X中取值的两个概率分布，则p对q的相对熵是：在一定程度上，相对熵可以度量两个随机变量的“距离”，且有D(p||q) ≠D(q||p)。另外，值得一提的是，D(p||q)是必然大于等于0的。互信息：两个随机变量X，Y的互信息定义为X，Y的联合分布和各自独立分布乘积的相对熵，用I(X,Y)表示：且有I(X,Y)=D(P(X,Y)||P(X)P(Y))。下面，咱们来计算下H(Y)-I(X,Y)的结果，如下：...
原创
2021-08-04 14:20:32
1355阅读
交叉熵：设p(x)、q(x)是X中取值的两个概率分布，则p对q的相对熵是：在一定程度上，相对熵可以度量两个随机变量的“距离”，且有D(p||q) ≠D(q||p)。另外，值得一提的是，D(p||q)是必然大于等于0的。互信息：两个随机变量X，Y的互信息定义为X，Y的联合分布和各自独立分布乘积的相对熵，用I(X,Y)表示：且有I(X,Y)=D(P(X,Y)||P(X)P(Y))。下面，咱们来计算下H(Y)-I(X,Y)的结果，如下：...
原创
2022-02-21 10:22:59
754阅读
1.卡尔曼滤波的导论卡尔曼滤波器（Kalman Filter），是由匈牙利数学家Rudolf Emil Kalman发明，并以其名字命名。卡尔曼出生于1930年匈牙利首都布达佩斯。1953，1954年分别获得麻省理工学院的电机工程学士以及硕士学位。1957年于哥伦比亚大学获得博士学位。卡尔曼滤波器是其在博士期间的研究成果，他的博士论文是《A New Approach to Linear
信息熵信息熵是系统有序化程度的一个度量。比如说，我们要搞清楚一件非常非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们不需要太多的信息就能把它搞清楚。所以，从这个角度，我们可以认为，信息量的度量就等于不确定性的多少。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。1948 年，香农提出了“信息熵”(shāng) 的概念
原创
2018-04-19 22:18:39
2876阅读
点赞
