深度学习是当今最火的研究方向之一。它以其卓越的学习能力,实现了AI的关键功能。




cnn训练的是什么 cnn训练次数_深度学习


一般来说,深度学习一次肯定是不够的,那到底学习多少次合适呢?

翻了翻各位大牛的研究成果,有训练10个迭代的,有30个,甚至也有1万个以上的。

这就让小白迷茫了,到底训练多少次合适?训练的检验标准是什么?

有一些大牛上来直接就说训练多少次,也不解释为什么,就说是凭经验,这种我们学不来。还有一些专家给出了一些理由,我们来总结一下。

01 当loss值收敛时结束迭代

深度学习的一个关键原理就是比较学习结果和样本标签之间的差距。理论上差距越小,表明学习的效果越好。这个差距就是loss值。

Loss值不可能变为0,只能无限逼近0。所以通过脚趾都能想到,当loss值无法变小的时候,这称为收敛,就是学习结束之时。比如像下图这样的:


cnn训练的是什么 cnn训练次数_数据_02


02 使用验证集来检验训练成果

你以为就靠一个收敛就能解决一切问题吗?没那么简单。

深度学习常常会遇到一个问题——过拟合。训练的时候学习效果很好,但是拿到其它地方测试发现效果就不行了。

就是说,并不一定是学习效果最好的时候才停止。那如何来判断停止的时机呢?

有学者提出了验证集。

就是说,把训练集分为2部分,比如70%用来训练,30%用来验证。就像下面的代码。

X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.33, random_state=seed)

然后在训练时加入验证的参数,就像这样:

autoencoder.fit(train_data, train_data,

epochs=50,

batch_size=128,

shuffle=True,

validation_data=(noisy_imgs, data_test)

)

然后就是观察验证曲线,什么时候验证的loss值最小,就选那一次的训练模型进行测试应用。


cnn训练的是什么 cnn训练次数_深度学习 autoencoder_03


比如下图,上面是训练曲线,下面是验证曲线。学习15次的效果就已经比较好了。

03 使用测试集来检验训练成果

随着研究的广泛开展和对学习效果的极致追求,我们渐渐发现了一个问题——有时候从验证曲线看到的最优值并不是真实预测过程的最好效果。比如这种情况:对大尺度数据进行深度学习去噪。

先说结论:最优方法是通过测试效果来决定迭代的次数。

具体怎样做的呢?比如这样的案例:一张大的二维数据,比如300*300,像这样的:


cnn训练的是什么 cnn训练次数_深度学习 autoencoder_04


为了训练效率,我们一般是要切割为小数据块的,比如切割成28*28,像这样的:


cnn训练的是什么 cnn训练次数_迭代_05


当对这样的小块进行50次训练后,曲线是这样的(上为训练loss,下为验证loss):


cnn训练的是什么 cnn训练次数_深度学习_06


那第15次迭代的网络模型用来做真实数据的预测效果是这样的:


cnn训练的是什么 cnn训练次数_深度学习 autoencoder_07


接下来,我们要写测试代码。

首先,在训练代码中增加回调函数,如MyCallback():

autoencoder.fit(train_data, train_data,
 epochs=50,
 batch_size=128,
 shuffle=True,
 validation_data=(noisy_imgs,data_test), 
 callbacks=[TensorBoard(log_dir='tmp/autoencoder'),MyCallback()])
然后,自己在回调函数中写测试效果的代码,比如以PSNR来检验预测效果。
class MyCallback(Callback):
 def on_epoch_end(self, epoch, logs={}): 
 reconstructed = autoencoder.predict(noisy_imgs)
。。。。。。

这样在训练50次后,可以看到测试的曲线是这样的(PSNR值越大越好):


cnn训练的是什么 cnn训练次数_数据_08


这样看来,学习迭代5次就足够了。效果是这样的:


cnn训练的是什么 cnn训练次数_迭代_09


04 小结

为什么会出现上面的问题呢?初步判断和局部与全局学习有关系,具体的原因还待以后来研究。

看来深度学习的复杂性远远超乎我们想象。不过本着实事求是的态度总没有错。我们的目标就是用网络模型做出更好的预测效果,所以能实现这个目标的方法都是好方法。