卷积神经网络

卷积神经网络（Convolutional Neural Network，CNN）是目前最流行的一种神经网络，广泛应用于计算机视觉领域。而该网络的核心 ——卷积操作，其实就是参数共享。参数共享使得卷积网络极大地降低 了参数的规模，并且在不增加训练数据量的前提下，增加了网络的尺寸。

  • 在输入中注入噪声
    数据扩充也可以看作是在输入数据中注入噪声，从而迫使算法拥 有更强的健壮性（也可以将注入噪声看作是一种数据扩充）。神经网络容易过拟合的原因之一就是对于噪声没有太好的抗噪能力。
  • 在隐藏层注入噪声
    对于某些模型，注入噪声也相当于对参数进行范数惩罚。通常而言，注入噪声要比简单地收缩参数更有效，尤其是将噪声注入到隐藏层中。
在神经网络的训练中，我们通常不关心能否找到精确的全局最优解，我们仅仅是去降低代价函数的值，使其能够获得较好的泛化性能。

AdaGrad使得参数在累积的梯度量较小时(<1)，放大学习率，使网络的训练更加快速。
在梯度的累积量较大时 (>1)，缩小学习率，延缓网络训练。

RMSProp算法就在AdaGrad基础上引入衰减因子，RMSProp算法在进行梯度累积的时候，会对“过去”与“现 在”做一个权衡。通过超参数β来调节衰减量，常用的取值有0.9或0.5。

归一化就是将数据的输入值减去其 均值然后除以数据的标准差