1. 什么是信息？信息的定义涉及概率论中的随机事件概率，如果待分类事物可能划分在多个分类之中，则符号 Xi 的信息定义为：其中 p(xi) 是选择该分类的概率。（该定义来自于《机器学习实战》P35） 举个例子：已知事件 X 的概率分布如下，计算符号 X 的信息： XX0X1 p 0.50.5
l(x0)  
关于本博客的说明： 本次博客主要分享样本熵（Sample Entropy, SampEn, SE）的理论相关知识及其代码实现.一、理论基础**样本熵(SampEn)**是基于近似熵(ApEn)的一种用于度量时间序列复杂性的改进方法，在评估生理时间序列的复杂性和诊断病理状态等方面均有应用[1]. 由于样本熵是近似熵的一种改进方法，因此可以将其与近似熵联系起来理解.算法表述如下：设存在一个以等时间间隔
转载
2024-07-02 05:53:37
370阅读
# 条件熵与交叉熵的科普及其在Python中的实现
在信息论和机器学习中，条件熵和交叉熵是两个非常重要的概念。它们在评估概率分布之间的差异时，发挥着关键作用，尤其是在分类任务中。本文将介绍这两个概念，并提供相应的Python代码示例，帮助大家理解它们的应用。
## 条件熵
条件熵是指在已知随机变量 \(Y\) 的情况下，随机变量 \(X\) 的不确定性。可以用以下公式表示：
\[
H(X|
对于一个二维信号，比如灰度图像，灰度值的范围是0-255，因此只要根据像素灰度值(0-255)出现的概率，就可以计算出信息熵。但是，对于一个一维信号，比如说心电信号，数据值的范围并不是确定的，不会是(0-255)这么确定，如果进行域值变换，使其转换到一个整数范围的话，就会丢失数据，请高手指点，怎么计算。比如数字信号是x(n),n=1~N(1)先用Hist函数对x(n)的赋值范围进行分块，比如赋值范
转载
2023-08-23 07:40:38
278阅读
学习内容：基于熵权法对TOPSIS模型的修正学习时间：2020.12.10学习产出：TOPSIS需要准确，还需要分别乘以各指标对应的权重，我们可以使用层次分析法来获取指标的权重，但是层次分析法太过于主观，所以这里我想介绍一下新学的方法——熵权法，来对TOPSIS进行一个权重的附加。1.熵权法的计算步骤 ①判断输入的矩阵是否存在负数，如果有则重新标准化区间②计算第j项指标下第i个样本所占的比重，并将
转载
2024-02-04 07:05:39
222阅读
补一下上次文章的坑,有关标准化和归一化的问题.标准化:(X-E(x))/D(x) 归一化: (X-min)/(max-min)两个的具体差别我的感受不是特别深刻,用的比较多的是归一化.from sklearn.preprocessing import MinMaxScaler
mm = MinMaxScaler()
mm_data = mm.fit_transform(X)
origin_data
转载
2023-09-05 08:09:37
73阅读
1. 从赛马说起0x1：赛马问题场景介绍假设在一场赛马中有m匹马参赛，令第i匹参赛马获胜的概率为pi，如果第i匹马获胜，那么机会收益为oi比1，即在第i匹马上每投资一美元，如果赢了，会得到oi美元的收益，如果输了，那么回报为0。有两种流行的马票：a兑1（a-for-1）：开赛前购买的马票，马民赛马前用一美元购买一张机会收益为a美元的马票，一旦马票对应的马在比赛中赢了，那么他持有的那只马票在赛后兑换
一、原理1.引例从下图可以看到，越可能发生的事情信息量越少。而我们使用概率来衡量事情发生的可能性。2.定义熵权法是一种可以用于多对象、多指标的综合评价方法，其评价结果主要依据客观资料，几乎不受主观因素的影响，可以在很大程度上避免人为因素的干扰。熵值计算公式如下：二、步骤1.什么是度量信息量的大小信息量与概率的函数图与ln(x)函数图类似，因此在衡量信息量时，我们选用的是ln(x)函数。2.正向化和
转载
2023-08-07 20:02:35
651阅读
文章1.1 层次分析法层次分析法介绍：问题引入： 评价类模型是最基础的模型之一，往往对应着生活中一些很实际的问题。例如，高考结束了，你是选择南大还是武大呢？已知今天空气中几种污染气体的浓度，如何确定空气质量等级呢？放假想要出去旅游，有好几个备选目的地，如果只能选一个，该去哪里呢？基本思想：是定性与定量相结合的多准则决策、评价方法。将决策的有关元素分解成目标层、准则层和方案层（层次的来源），并通过
转载
2024-08-14 20:08:34
151阅读
# 条件熵与Python代码示例
在信息论中，熵是一个衡量信息量的不确定性的度量，而条件熵则用于衡量在给定某个条件下的信息不确定性。条件熵的概念在许多机器学习和数据分析任务中得到了广泛应用，比如在特征选择和决策树构建中。
## 什么是条件熵？
条件熵 \(H(Y|X)\) 表示在随机变量 \(X\) 已知的情况下，随机变量 \(Y\) 的不确定性。它可以通过以下公式计算：
\[
H(Y|X
介绍：1.在 Matlab 中，用大写字母 D 表示导数，Dy 表示 y 关于自变量的一阶导数，D2y 表示 y 关于自变量的二阶导数，依此类推.函数 dsolve 用来解决常微分方程(组)的求解问题，调用格式为X=dsolve(‘eqn1’,’eqn2’,…)如果没有初始条件，则求出通解，如果有初始条件，则求出特解系统缺省的自变量为 t。2.函数 dsolve 求解的是常微分方程的精确
# 如何实现香农熵Python代码
## 流程概述
首先，让我们看一下整个实现“香农熵Python代码”的流程。我们将使用以下步骤来完成这个任务：
| 步骤 | 描述 |
|------|------|
| 1 | 导入所需的库 |
| 2 | 计算数据集的频率分布 |
| 3 | 计算香农熵 |
| 4 | 实现代码 |
## 具体步骤
### 步骤1：导入所需的库
首先，我们需要导
原创
2024-03-13 06:00:08
171阅读
记录一下遇到交叉熵时的学习笔记，此处为本文主要参考链接。1、熵(Entropy)对于一个特定事件，它的概率p越小，那它所蕴含的信息量就越大，反之，p越大，表明信息量越小。此外，对于相互独立的事件，信息量可以叠加。熵就是依据对应的期望值对一系列信息量求期望值。 信息熵可以理解为对事件不确定性的测量，熵越大，不确定性也就越大，熵的公式定义为其中：x是消息（或事件），p(x)是x的概率。从公式中可以看出
使用Python代码实现ID3算法 大家好，今天我来为大家使用python代码简单的实现一下决策树中的ID3算法。话不多说，直接上码1. 首先，我们先创建一组数据，该数据组一共由8组数据组成，共2列特征列，1列标签列from math import log
import operator
def createDataSet():
dataSet = [[1,1,'yes'],
转载
2023-10-19 10:18:50
112阅读
文章目录1.简单理解 信息熵2.编制指标 （学术情景应用）3.python实现3.1 数据准备3.2 数据预处理3.3 熵值、权重计算3.4 编制综合评价指标 熵值法也称熵权法，是学术研究，及实际应用中的一种常用且有效的编制指标的方法。 1.简单理解 信息熵机器学习中的决策树算法是对信息熵的一种典型的应用。 在信息论中，使用 熵 (Entropy)来描述随机变量分布的不
转载
2023-09-13 23:34:59
555阅读
交叉熵损失函数是机器学习中一个常见的损失函数，用来衡量目标与预测值之间的差距，看着公式能感觉到确实有种在衡量差距的感觉，但是又说不出为什么有这种作用。下面从信息量-信息熵-交叉熵的步骤来看交叉熵公式的意义。信息量信息量是我们能获得未知信息的多少，比如我说周杰伦某天开演唱会，这件事信息量就很小，因为演唱会哪天开已经公布了，这件事发生的概率很大，不用我说你也知道。但是我如果说周杰伦出轨了，这件事的信息
转载
2024-08-14 09:38:04
41阅读
目录1.TOPSIS法介绍2. 计算步骤（1）数据标准化（2）得到加权后的矩阵（3）确定正理想解和负理想解 （4）计算各方案到正（负）理想解的距离（5）计算综合评价值3.实例研究 3.1 导入相关库3.2 读取数据3.3 读取行数和列数3.4 数据标准化3.5 得到信息熵 3.6 计算权重3.7 计算权重后的数据3.8 得到最大值最小值距离3.9 计算评分
转载
2023-09-29 20:08:57
780阅读
1评论
一、模型引出1、问题的提出根据前几篇文章我们知道，评价决策类的模型最后需要根据各个指标的重要程度进行加权，而之前的层次分析法和TOPSIS法的权重都是我们主观得到的，那有没有更为客观的方法呢？那我们接着引入之前的例题。二、基本原理 1、基本概念这里呢我们引入信息熵的概念，如果大家学过物理，就会知道熵代表着系统的紊乱程度，那如果按照信息论基本原理的解释，信息就是系统有序程度的度量，而熵呢是
转载
2024-08-05 13:58:12
145阅读
## Python中的熵权TOPSIS算法
在实际的数据分析和决策中，TOPSIS（Technique for Order Preference by Similarity to Ideal Solution）算法是一种常用的多属性决策方法。它通过比较各个备选方案与“最优解”和“最劣解”的接近程度，从而确定最佳的方案。
在TOPSIS算法中，熵权法是常用的权重确定方法之一。熵权法可以通过计算各
原创
2024-06-30 06:21:56
103阅读
今天这篇文章和大家聊聊机器学习领域的熵。我在看paper的时候发现对于交叉熵的理解又有些遗忘，复习了一下之后，又有了一些新的认识。故写下本文和大家分享。熵这个概念应用非常广泛，我个人认为比较经典的一个应用是在热力学当中，反应一个系统的混乱程度。根据热力学第二定律，一个孤立系统的熵不会减少。比如一盒乒乓球，如果把盒子掀翻了，乒乓球散出来，它的熵增加了。如果要将熵减小，那么必须要对这个系统做功，也就是
