K折交叉验证的作用

当有多个不同的模型（结构不同、超参数不同等）可以选择时，我们通过K折交叉验证来选取对于特定数据集最好的模型。

K折交叉验证的流程

  1. 将含有python使用k折交叉验证进行疾病分类 k折交叉验证 模型结果_深度学习个样本的数据集，分成python使用k折交叉验证进行疾病分类 k折交叉验证 模型结果_深度学习_02份，每份含有python使用k折交叉验证进行疾病分类 k折交叉验证 模型结果_机器学习_03个样本。选择其中一份作为验证集，另外python使用k折交叉验证进行疾病分类 k折交叉验证 模型结果_神经网络_04份作为训练集，验证集集就有python使用k折交叉验证进行疾病分类 k折交叉验证 模型结果_深度学习_02种情况。
  2. 在每种情况中，用训练集训练模型，用验证集测试模型，计算模型的泛化误差。
  3. 交叉验证重复python使用k折交叉验证进行疾病分类 k折交叉验证 模型结果_深度学习_02次，平均python使用k折交叉验证进行疾病分类 k折交叉验证 模型结果_深度学习_02次的结果作为模型最终的泛化误差。
  4. python使用k折交叉验证进行疾病分类 k折交叉验证 模型结果_深度学习_02的取值一般在python使用k折交叉验证进行疾病分类 k折交叉验证 模型结果_机器学习_09之间。python使用k折交叉验证进行疾病分类 k折交叉验证 模型结果_深度学习_02折交叉验证的优势在于，同时重复运用随机产生的子样本进行训练和验证，python使用k折交叉验证进行疾病分类 k折交叉验证 模型结果_机器学习_11折交叉验证是最常用的。
  5. 训练集中样本数量要足够多，一般至少大于总样本数的50%。
  6. 训练集和验证集必须从完整的数据集中均匀采样。均匀采样的目的是希望减少训练集、验证集与原数据集之间的偏差。当样本数量足够多时，通过随机采样，便可以实现均匀采样的效果。

5折交叉验证举例

5折交叉验证(5-fold cross-validation)用来验证从不同的模型中选取最优的模型（最合适的模型）。将数据集分成5份，轮流将其中4份作为训练数据，1份作为验证数据，进行试验。每次试验都会得出相应的正确率。5次的结果的正确率的平均值作为对算法精度的估计。同时对不同的模型（如CNN、SVM、LR等）做上述相同的操作，得出每个模型在特定数据集上的平均能力，从中选优。

例子：

假设我们有一个特定数据集，我们想从YOLOv4、Mask R-CNN、SSD、Faster R-CNN、RetinaNet这五个模型中选取在这个特定数据集中有最好效果的一个模型作为baseline，我们可以进行交叉验证来进行判断：

步骤：

  1. 将数据集分成5份。
  2. 对于每一个模型，for i = 1， 2， 3， 4，5，每个for循环里将除了第i份的所有数据作为训练集用于训练，得到参数；再将参数在第i份数据上进行验证，得到评价结果。
  3. 最后我们可以得到5个模型的结果，每个模型有5个验证结果。将每个模型的结果取平均值，得到该模型的平均结果。
  4. 5个模型中平均结果最好的模型就是我们想要的最优模型。