【机器学习】集成学习与模型融合方法举例

文章目录
1 概述
	1.1 什么是集成学习
2 CrossValidation 交叉验证
3 stacking
4 Voting投票器
5 Bagging
1 概述

1.1 什么是集成学习

所谓“三个臭皮匠赛过诸葛亮”的道理，在机器学习数据挖掘的工程项目中，使用单一决策的弱分类器显然不是一个明智的选择，因为各种分类器在设计的时候都有自己的优势和缺点，也就是说每个分类器都有自己工作偏向，那集成学习就是平衡各个分类器的优缺点，使得我们的分类任务完成的更加优秀。
在大多数情况下，这些基本模型本身的性能并不是非常好，这要么是因为它们具有较高的偏差（例如，低自由度模型），要么是因为他们的方差太大导致鲁棒性不强（例如，高自由度模型）。集成方法的思想是通过将这些弱学习器的偏差和/或方差结合起来，从而创建一个「强学习器」（或「集成模型」），从而获得更好的性能。
集成学习的方法：

1.基于投票思想的多数票机制的集成分类器(MajorityVoteClassifier)
2.基于bagging思想的套袋集成技术(BaggingClassifie