算法工程师面试之归一化操作

本文参考《NNDL》

1. 归一化是什么？

2. 为什么要归一化？

可以从如下两个方向来说明：

梯度更新

参数选择

3. 主流的归一化方法

3.1 线性函数归一化

比较简单，相当于使用一个映射函数：

$x= x max ​ −x min ​ x−x min ​ ​$

3.2 零均值归一化

得到样本的均值$μ$，方差$σ 2$

2

，然后更新表示：

$x= σ x−μ ​$

3.3 batch normalization

批量归一化：指的是将一个batch中的数据按照各个特征维度进行归一化。【从特征维度出发】

缺点：一个batch中的样本数要足够，否则就很能体现出有时候。

3.4 layer normalization

层归一化：指的是将同条样本的各个特征数据求均值，然后除以标准差。【从样本维度出发】

————————————————

---