信息增益在决策树的特征选择中很重要，可以说是特征选择的核心方法之一，也同样是决策树生成的核心之一。决策树的算法很多都是建立在信息增益进行的，信息增益是建立在熵这个概念上进行的。熵就是衡量一个变量不确定性的度量。熵用的很广，在信息领域、在强化学习、在统计学习中都用的很广。下面我将分别介绍上述提到的概念：
1. 熵：(entropy)：
信息量大小的度量， 即表示随机变量不确定性的度量。熵越大， 随机变量的不确定性越大。
2. 信息增益：
通俗的理解是：一个变量的熵减去其条件熵，得到的值就是这个条件的信息增益。其中，条件熵H(Y|X)： 表示在己知随机变量X的条件下随机变量Y的不确定性， 定义为X给定条件下Y的条件概率分布的熵对X的数学期望。
(信息增益):特征A对训练数据集D的信息增益，g(D,A), 定义为集合D的经验熵H(D)与特征A给定条件下
D的经验条件熵H(D|A)之差， 即:
(Information gain)表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。
—般地， 熵H(Y)与条件熵H(Y|X)之差称为互信息（ mutual information)。
注：本文的内容只是自己学习过程的一个总结，根据自己的学习感悟进行总结，以便自己日后好复习巩固，如有不对之处，敬请谅解，感谢李航老师的书籍和袁春老师的课件，让我学习到很多知识。
参考文献：
- 统计学习方法 [M]. 李航，
- 统计学习方法课件，袁春.
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
