1、首先将数据集随机分成train,validation,test三个集合。(后面只讨论训练和测试,因为验证和测试类似,只是用它来观察模型才需要它)
分成三个集合的目的:
训练集用来对模型的权重参数/普通参数进行训练(即进行更改,或找到更好的参数),使得模型的输出结果更接近真实值。
验证集用来在帮助人工调参,这里调的是超参,一个目的是及时发现模型的问题,及早终止训练重新调参,另一个目的是验证模型的泛化能力,判断是否过拟合。
测试集用来对最终的模型进行测试,得出最终模型的优劣。
注:许多时候会使用k折交叉验证的方法,多次划分数据集,取测试准确率的平均值,目的是对有限的数据形成重用。
这里忽略样本的预处理。
2、然后设置模型,包括模型的结构,模型权重参数和超参的初始化等。一般权重参数随机初始化或者从其他模型中迁移过来,超参根据经验初始化。
3、接着是训练过程。一般将训练集划分成iterations个batch,每个batch大小为batchsize,最后一个batch大小可能会小于batchsize。每次将一个batch中的样本输入模型,得到预测结果
,计算loss=
,将误差反向传播,更改一次权重参数,输入下一个batch。当将所有训练集中样本,即所有batch中样本输入进模型一遍后,我们称经过了一个epoch。只训练一个epoch是不够的,要再来几遍,即将训练集反复地输入模型。
什么时候结束训练呢?一般先设一个较大的epoch数量,然后每次epoch后计算验证集的准确率,如果比之前最好的模型准确率还高就保存新模型,当验证集准确率开始长时间下降,说明过拟合了,这时的模型是最好的。
这里不讨论常用的loss,不讨论如何将loss反向传播。
4、跳过验证过程。
5、最后是测试过程。测试过程将所有测试样本输入模型,得到预测结果
,计算准确率。
这里不讨论不同输出格式的准确率计算方法。