2.3.2随机决策森林
随机决策森林［Breiman，2001；Quinlan，1986］是决策树的集成。如图2.8a所示，每棵树由分支和叶节点组成。分支节点基于特征向量的特定特征的值执行二元分类。如果特定特征的值小于阈值，则将样本分配给左分区，否则分配给右分区。图2.8b显示了用于确定照片是代表室内还是室外场景的可解释性的决策树。如果类是线性可分的，则在经过log2c次决策之后，每个样本类将与剩余的c-1类分离并到达叶节点。 对于给定的特征向量f，每棵树独立地预测其标签，并且使用多数投票方案用于预测特征向量的最终标签。 已经证明随机决策森林是快速有效的多类分类器［Shotton et al.，2011］。
图2.8a)决策树是以分层方式组织的一组节点和边。分割(或内部)节点用圆圈表示，叶(或终端)节点用正方形表示。b)决策树是一棵树，其中每个分割节点存储应用于输入数据的测试功能。每个叶子存储最终标签(这里是“室内”还是“室外”)
1.训练
在随机选择的训练数据样本上训练每棵树(通常2/3的训练数据)。剩余的训练数据样本用于验证。为每个分支节点随机选择一个特征子集。然后，我们搜索最好的特征f［i］和相关的阈值τi ，最大化分区后的训练数据的信息增益。设定H(Q)是训练数据的原始熵，H(Q{f［i］,τi}) 是将训练数据集Q分割成左分区Ql和右分区Qr之后的信息熵。信息增益G等式如下：
其中，
Ql和Qr表示左分区和右分区的数据样本数量。Ql的信息熵由如下等式给出：
其中，pi是在Ql中类i的数据样本的数量除以Ql。将最大化增益的特征及其相关的阈值选择为那个节点的分裂测试条件
如果分区只包含一个类，则将其视为叶节点。由多个类组成的分区将被进一步划分，直到它们包含单个类或树达到其最大高度。 如果达到树的最大高度并且其中一些叶节点包含来自多个类的标签，则将与已到达该叶节点的训练样本v的子集所关联的类的经验分布用作其标签。 因此，第t棵树的概率叶预测器模型是pt(cv)，其中c∈{ck}表示该类。
2.分类器
一旦训练了一组决策树，给定先前未见的样本xj，每棵决策树逐层地应用多个预定义的测试，见图2.10。 从根开始，每个分割节点将其关联的拆分函数应用于xj。根据二分测试的结果，将数据发送到右子分区或左子分区。重复此过程，直到数据点到达叶节点。通常，叶节点包含预测器(例如，分类器)，其将输出(例如，类标签)与输入xj相关联。在森林的情况下，将许多树预测器组合在一起以形成单个森林预测：
其中T表示森林中决策树的数量。
图2.10测试样本xj的RDF分类。在测试期间，相同的测试样本通过每棵决策树。在每个内部节点处应用测试，并将测试样本发送给适当的子节点。重复该过程直到到达叶子。在叶子处，读取存储的后验证值pt(cxj)。森林类的后验证值p(cxj)是所有决策树后验证值的平均值
