1.5 正则化与交叉验证
1.5.1 正则化模型选择的典型方法是正则化（regularization）。正则化是结构风险最小化策略的实
现，是在经验风险上加一个正则化项（regularizer）或罚项(penalty term)。正则化项一般
是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。比如，正则化项可以是模
型参数向量的范数。
正则化一般具有如下形式：
其中，第1项是经验风险，第2项是正则化项， ≥0为调整两者之间关系的系数。
正则化项可以取不同的形式。例如，回归问题中，损失函数是平方损失，正则化项可
以是参数向量的L2范数：
这里，||w||表示参数向量w的L2范数。
正则化项也可以是参数向量的L1范数：
这里，||w||1表示参数向量w的L1范数。
第1项的经验风险较小的模型可能较复杂（有多个非零参数），这时第2项的模型复杂
度会较大。正则化的作用是选择经验风险与模型复杂度同时较小的模型。
正则化符合奥卡姆剃刀（Occam's razor）原理。奥卡姆剃刀原理应用于模型选择时变
为以下想法：在所有可能选择的模型中，能够很好地解释已知数据并且十分简单才是最好
的模型，也就是应该选择的模型。从贝叶斯估计的角度来看，正则化项对应于模型的先验
概率。可以假设复杂的模型有较小的先验概率，简单的模型有较大的先验概率。
1.5.2 交叉验证
另一种常用的模型选择方法是交叉验证(cross validation)。
如果给定的样本数据充足，进行模型选择的一种简单方法是随机地将数据集切分成三
部分，分别为训练集（training set）、验证集（validation set）和测试集（test set）。训练
集用来训练模型，验证集用于模型的选择，而测试集用于最终对学习方法的评估。在学习
到的不同复杂度的模型中，选择对验证集有最小预测误差的模型。由于验证集有足够多的
数据，用它对模型进行选择也是有效的。
但是，在许多实际应用中数据是不充足的。为了选择好的模型，可以采用交叉验证方
法。交叉验证的基本想法是重复地使用数据；把给定的数据进行切分，将切分的数据集组
合为训练集与测试集，在此基础上反复地进行训练、测试以及模型选择。
1．简单交叉验证
简单交叉验证方法是：首先随机地将已给数据分为两部分，一部分作为训练集，另一
部分作为测试集（例如，70%的数据为训练集，30%的数据为测试集）；然后用训练集在
各种条件下（例如，不同的参数个数）训练模型，从而得到不同的模型；在测试集上评价
各个模型的测试误差，选出测试误差最小的模型。
2．S折交叉验证应用最多的是S折交叉验证（S-fold cross validation），方法如下：首先随机地将已给
数据切分为S个互不相交的大小相同的子集；然后利用S-1个子集的数据训练模型，利用余
下的子集测试模型；将这一过程对可能的S种选择重复进行；最后选出S次评测中平均测
试误差最小的模型。
3．留一交叉验证
S折交叉验证的特殊情形是S＝N，称为留一交叉验证（leave-one-out
cross
validation），往往在数据缺乏的情况下使用。这里，N是给定数据集的容量。
