1: 没有免费的午餐: 对特定问题的先验认识的条件下, 没有最优的分类器. 2: 丑小鸭定理: 对特定问题的先验认识的条件下,没有最优的特征表达. 3: occam' razor: 杀鸡焉用牛刀? 小的剃须刀就可以了,干吗用电锯??? keep it simple,stupid. 简单就是美. 爱因斯坦:描述一个问题,解决一个问题,要尽可能的简单,但不要更简单. 杜达:长期的进化过程, 使我们自身的"模式识别仪器"面临强大的自然选择的压力---要求执行更简单的计算,需要更少的神经元,花费更短的时间,等等,导致我们的分类器趋向简单的方案. 沃伦.巴菲特:盖茨的成功不在于他做了什么,而在于他没做什么. 一个人要专注做一件事情,理想太多了, 变得没有理想了. 总之,我们的分类器要尽可能保持简单,因为,简单的通常是最有效的.这是经验! 4: 回归中的偏差和方差关系 4.1) 偏差小: 准确度高 方差小: 推广性好. 4.2) 曲线拟合的均方误差 = 偏差^2 + 方差. 与两者都有关系 5: 刀切法 和 自助法 由于现实中,获取样本往往是比较困难的,怎么充分的利用好手里的现有的样本??? 刀切法: 降低样本中噪声的影响.每次统计模型的参数信息的时候, 去掉一部分样本. 自助法: 把样本分为多个独立的自助集.相当于多次重复里利用手里的样本. 6: bagging & boosting & 基于查询的学习 略去. 7:单个分割平面的能力 也就是说 线性分类面的能力??? 一般位置: d维空间的点, 没有d+1个点落在d-1维子空间时,我们称这些点处于一般位置. eg: d=1,一维空间的点. 如果没有2两个点落在0维子空间(也就是处在同一个点上.) eg: d=2,2维空间的点. 如果没有3两个点落在1维子空间(也就是处在同一个线上.) 正是由于线性分类器的弱点, ---我们引入了非线性分类器 BP --- 改变分类面的线性关系为非线性 ---我们引入了SVM --- 改变样本点的空间位置使之可以使用线性分类器.
http://www.blogjava.net/dongwq/archive/2009/11/28/304046.html
