训练神经网络，其中一个加速训练的方法就是归一化输入，归一化需要两个步骤：（1）零均值u；（2）归一化方差σ2。
第一步是零均值化，
，它是一个向量，x等于每个训练数据 x减去u，意思是移动训练集，直到它完成零均值化。
第二步是归一化方差，注意特征x1的方差比特征x2的方差要大得多，我们要做的是给σ赋值，
，σ2是一个向量，它的每个特征都有方差，注意，我们已经完成零值均化，(x(i))2元素y2就是方差。
u和σ2是由训练集数据计算得来的。
如左上图所示，这是一个非常细长狭窄的代价函数，，如果你在上图这样的代价函数上运行梯度下降法，你必须使用一个非常小的学习率，因为如果是在这个位置，梯度下降法可能需要多次迭代过程，直到最后找到最小值。但如果函数是一个更圆的球形轮廓，那么不论从哪个位置开始，梯度下降法都能够更直接地找到最小值，你可以在梯度下降法中使用较大步长，而不需要像在左图中那样反复执行。
作者：zhang-X，转载请注明原文链接
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
