基于周志华的西瓜书(p.172)解释集成学习简单投票法概率。并参考知乎董豪晨的回答
对于二分类问题y=[−1,1]，假设错误率为q，且真实集函数表达为f(x)，对于每个分类器hi有：
P(hi≠f(x))=q
则对于用简单投票法和T个分类器，超过半数的分类器分类正确，则集成分类就正确：
H(x)=sign(∑i=1Thi(x))
证明：
由Hoeffding不等式(霍夫丁不等式)：
若硬币正面朝上概率为p，反面朝上概率为1−p=q，令H(n)为抛硬币n次硬币所得正面朝上的次数，则最多k次正面朝上的概率为：
P(H(n)≤k)=∑i=0kCinpi(1−p)n−i
δ>0，K=(p−δ)n，则有：
P(H(n)≤(p−δ)n)≤e−2δ2n
H(x)>0.5(即至少有T/2个分类器分类正确)，应该满足公式：
P(H(n)≤(p−δ)T/2)≤e−2δ2n
(p−δ)T=[T2]，所以有
δ=p−1T[T2]≥p−12=2p−12=1−2q2
∀δ>0，所以
p−1T[T2]≥0
p≥0.5，因而超过半数的分类器分类正确，则集成分类就正确。
δ=1−2qq
P(H(n)≤T2)=∑i=0T2Cinpi(1−p)T−i≤e−2(12−q)2T=e−T2(1−2q)2
由上式可知，在每个分类器相互独立情况下，随着分类器数量T的增加，集成的错误率趋向于0。
