熵权法python代码计算 熵权法topsis模型的python

这里是根据清风数学建模视频课程整理的笔记，我不是清风本人。想系统学习数学建模的可以移步B站搜索相关视频

文章目录

• 熵权法原理
• 如何度量信息量的大小
• 信息熵的定义
• 熵权法计算步骤

TOPSIS方法此前以及写过博文，因此这里主要讲熵权法确定权重

熵权法原理

指标的变异程度越小（即方差越小），所反映的信息量也越少，其对应的权值也应该越低。

例如：对于所有的样本而言，这个指标都是相同的数值， 那么我们可认为这个指标的权值为0，即这个指标对于我们的评价起不 到任何帮助

如何度量信息量的大小

越有可能发生的事情，信息量越少；越不可能发生的事情，信息量就越多。

⇓（如何衡量事情发生的可能性？）

概率

信息熵的定义

假设$x$表示事件$X$可能发生的某种情况$p(x)$表示这种情况发生的概率

我们定义：$I(x)=-\ln(p(x))$

如果事件$X$可能发生的情况分别为：$x_1,x_2,…,x_n$

那么定义事件$X$的信息熵为：$H(X)=\sum_{i=1}^n[p(x_i)I(x_i)]=-\sum_{i=1}^n[p(x_i)\ln(p(x_i))]$

信息熵的本质就是对信息量的期望值

可以证明，当$p(x_1)=p(x_2)=…=p(x_n)=\frac 1n$时，$H(x)$取最大值$\ln n$

熵权法计算步骤

第一步，判断输入矩阵中是否存在负数，如果有负数则要重新标准化到非负区间

第二步，计算第$j$项指标下第$i$个样本所占的比重，并将其看作相对熵计算中用到的概率

第三步，计算每个指标的信息熵，并计算信息效用值，并归一化得到每个指标的熵权

对于第$j$个指标而言，其信息熵的计算公式为

$e_j=-\frac {1}{\ln n}\sum_{i=1}^np_{ij}\ln(p_ij),(j=1,2,…,m)$

1、为什么要除以$\ln n$？

因为当$p(x_1)=p(x_2)=…=p(x_n)=\frac 1n$时，$H(x)$取最大值$\ln n$，那么这里除以$\ln n$能够让信息熵始终位于$[0,1]$区间上

2、$e_j$越大，即第$j$个指标的信息熵越大，表明第$j$个指标的信息越多还是越少？

越少。

当$p_{1j}=p_{2j}=…=p_{nj}$时，$e_j=1$，信息熵最大，但由于$p_{ij}=\Large \frac {\widetilde{z}_{ij}}{\sum_{i=1}^n\widetilde{z}_{ij}}$，所以$\widetilde{z}_{1j}=\widetilde{z}_{2j}=…=\widetilde{z}_{nj}$，说明所有样本的这个指标值都相同

由于信息熵越大，所包含的信息量越小，因此我们定义信息效用值$d_j=1-e_j$，则信息效用值越大，所包含的信息量越大

最后将信息效用值进行归一化，则得到每个指标的熵权

$W_j=\large \frac {d_j}{\sum_{j=1}^md_j},(j=1,2,…,m)$