《机器学习十讲》学习报告八

维度灾难：

随着维度的增多，问题的复杂性（或计算代价）呈指数型增长的现象

基于距离的机器学习模型

 

 稀疏度与过度拟合

过度拟合：模型对已知数据拟合较好，新的数据拟合较差

高维空间中样本变得极度稀疏，容易造成过度拟合问题

计算复杂度：决策树

随着维数的增加。计算复杂度指数增长

只能求近似解得到局部最优解而非全局最优解

朴素贝叶斯

 

 

应对维度灾难：特征选择和降维

 

 

过度拟合以及正则化

正则化：对学习算法的修改——旨在减少泛化误差而不是训练误差