1. 为什么有了Mini-batch SGD还不满足？参考 https://ruder.io/optimizing-gradient-descent/ 。
本文不是简单地翻译，而是真的花了一天的时间和心思来写，这一过程中我也重新复习了一遍，而且对不太容易理解的地方都做了详细的解释和说明，如果看了本文还不清楚，那。。。那你就来我公众号后台私信我交流！！！记得加个关注，最好是打赏支持一下哈哈哈，共勉！
微信排版有问题，欢迎去如下两个地方查看原文：
1）知乎：https://zhuanlan.zhihu.com/p/348246286
- 我们很难选择一个合适的学习率。因为太小的话收敛太慢，太大则可能会使得损失函数在局部最低点震荡（fluctuate）甚至是不收敛。
- 学习率不能根据数据集的特点灵活变动。虽然我们有时会使用learning rate scheduler来调整学习率，但是调整的规则需要事先定义好。
- 所有的权重使用的是同样的学习率。如果我们的数据是sparse的，或者说[数据特征频率] (https://www.zhihu.com/question/20099543) 差别很大，我们肯定不希望他们的更新幅度保持一样。
- 另一个很难解决的问题是极端情况下的非凸损失函数。常说的陷于局部最优点倒是其次，鞍点（saddle point） 才是最难解决的问题，因为鞍点附近的梯度接近于0，此时常规的SGD算法很难逃出鞍点。
因此为了解决这些问题，或者说是挑战，有很多改进版的优化算法被相继提出。
下面我会尽可能直观地对这些改进算法进行介绍。
2. Momentum
w/o momentum在介绍结合Momentum的优化器时，经常能看到如上两张图。一般的解释是Vanilla SGD会在ravine（峡谷）区域震荡的特别厉害，加了momentum之后就会改善很多。其实基于上面的图我是不太理解这个所谓的震荡是什么意思，以及为什么它就震荡了，所以我画了下面的图帮助理解。
Ravines are areas where the surface curves much more steeply in one dimension than in another.
黑色箭头表示优化方向和步长，可以看到相比于下半段，上半段的红色曲线部分变化幅度更加陡峭，因此SGD的更新也是一会朝上一会朝下，这就是所谓的震荡。到了下半段之后，红色曲线平缓一些了，所以黑色箭头的方向也都是朝下。
Vanilla SGD ravines但是从全局的角度来看，上半段的震荡式更新很慢，Momentum的提出就是为了帮助SGD在相关方向上加速，从而抑制震荡（dampen oscillations）。
Momentum计算公式如下：
可以看到相比于公式（1），Momentum会把之前的更新幅度也考虑进来。我们举一个具体的例子来帮助理解。
假设第一次更新幅度 （因为第一次没有 ，所以就等于梯度值）。也就是说第一次更新方向是正方向，步长是0.6。
第二次的梯度值是 -0.2,如果是朴素SGD，那么就会往回走0.2，但是因为因为了momentum，那么此次的更新幅度就是 +0.34，也就是说还是会继续往正方向更新。
到了第三次，梯度值为 -0.8， 此时总的更新幅度变成了 -0.494,更新方向发生了改变。
3. Nesterov accelerated gradient我们可以把Momentum优化器简单理解成一个在山坡上滚动的球，如果山坡一直是朝下的，那么小球的速度会越来越快。但是这样就会有一个新的问题，如果突然有一段很长的上升的坡，那么小球则会因为惯性冲上去，这显然是我们不想要的。
Nesterov accelerated gradient (NAG)的解决思路是让这个小球能够意识到自己大概处在什么位置，从而能预测在上升坡到来之前先减慢速度。
NAG在Momentum的基础上做了很小的改动就能实现上面的想法，公式如下：
可以看到变化的地方只是把 换成了 ，这样做是什么意思呢？我们结合下图[1]来理解。
短一点的蓝色箭头表示当前时刻的梯度值，长一点的蓝色箭头表示Momentum计算得到的累积梯度（即 ）。NAG首先是基于上一时刻的梯度对参数进行计算（棕色箭头,其与长蓝色箭头平行）,之后基于该点计算用于纠正的梯度值（红色箭头），最后总的更新方向和幅度就是绿色箭头。
NAG [Source:G. Hinton's lecture]4. Adagrad
前面提到的Vanilla SGD，SGD-Momentum，NAG都是采用同样的学习率来更新所有参数。Adagrad则可以对不同的参数使用不同的学习率进行更新：对于那些出现频率较多出现（frequently occuring）的特征会使用较小的学习率，而对那些较少出现的特征使用较大的学习率。因此，Adagrad十分适合处理sparse data。
下面介绍Adagrad的计算方式，首先给定符号定义：
- 表示所有的参数， 表示某一个参数。Adagrad是对每一个参数采用不同的学习率。
- 表示在 时刻的梯度，而 则表示 时刻每一个参数 对应的梯度，即
那么Vanilla SGD的表达形式则是：
Adagrad对上面公式中的 做了修正：
是一个对角矩阵，对角线上的元素 是从初始时刻到t时刻为止，所有关于 的梯度的平方和，即 。 是噪声值，通常大小为 ，主要是为了避免分母为0。有实验表明，如果不计算平方根，Adagrad的效果会很差。
上面的式子是针对每个元素的计算方式，下面我们使用矩阵计算（ 表示矩阵乘法）的表达方式推广到所有元素，即
使用Adagrad的主要优点是我们无需在手动调整学习率，一般来说只需要把学习率设置为0.01就好了，不再需要调用lr scheduler。
Adagrad的缺点也很明显，由于分母是从初始时刻到t时刻所有梯度的平方和，也就是说分母会随着时间不断变大，那么一定时间后，分母会特别大，以至于学习率接近于0，此时更新幅度也基本上停止了，那么啥东西也没法学了。所以下面的Adadelta算法就是为了解决这个问题。
5. AdadeltaAdagrad是把前面所有时刻的梯度做了平方和的计算，那么一个很直观且naive的想法是我们只选取前 个时刻的梯度做平方和计算即可。
Adadelta的确采用了类似的做法，它借鉴了Momentum的思路，即当前时刻的滑动平均 依赖于上一时刻的滑动平均 和当前时刻的梯度值 ，即：
类似于Momentum term,通常设置在0.9左右。当 时，上式就变成了梯度平方和。
那么Adadelta的参数更新公式为：
通常 也会简写成 , (RMS是root mean squared的缩写)
所以
此时Adadelta还是依赖全局学习率的，所以作者还进一步定义了另一个指数衰减平均，这次不是梯度平方，而是参数的平方的更新：
类似地有
最后通过一通变形后，式(5.3 )近似为如下：
至此，Adadelta介绍结束了，我们通过上式可以看到，学习率 消失了，换句话说有了Adadelta之后，我们甚至可以不用设置默认的学习率。（机器之心震惊体可以用起来了！！！）
6. RMSpropRMSprop是由Geoff Hinton大佬在其Coursera课堂的课程中提出的，换句话说它还是一个尚未发表的自适应学习率的算法，
RMSprop和Adadelta几乎是在在相同的时间里被独立的提出，都是为了解决Adagrad的极速递减的学习率问题。RMSprop可以算作Adadelta的一个特例，即式子(5.3)。也就是说，RMSprop还是依赖于全局学习率，非常适合处理非平稳目标（对RNN效果会比较好）。
常用的参数设置如下：
Hinton建议将 设置为0.9，对于学习率 ，推荐设置为0.001。
7. Adam终于到Adam神器了，其全称是Adaptive Moment Estimation。Adam也是会给每个参数计算动态的学习率。
除了像Adadelta和RMSprop那样需要计算过去平方梯度 的指数衰减平均值外，Adam还需要类似于Momentum的做法来保存过去梯度 的指数衰减平均值,简单理解就是Adam = RMSprop + Momentum。
不同论文的符号不一样，所以看起来会有点混乱，这里Adam的 就是前面Adadelta中的 ， 就是Momentum公式中的 。 则类似前面的
一般而言，一个向量通常是初始化为0向量，但是在这里，如果我们也把 初始化为 ，那么有如下推导[2]（下面的推导很多教程根本都不提!!!），
所以我们得到t时刻
进一步可以得到
第一行到第二行是一个近似，所以后面需要加一个误差值 。最后我们可以看到 和 之间有一个偏差 ,所以为了修正偏差（ 修正同理），有
通常 最后将 和 代入公式(6)后，Adam梯度更新算法公式为
Adam的python实现代码如下
for t in range(num_iterations):
g = compute_gradient(x, y)
m = beta_1 * m + (1 - beta_1) * g
v = beta_2 * v + (1 - beta_2) * np.power(g, 2)
m_hat = m / (1 - np.power(beta_1, t))
v_hat = v / (1 - np.power(beta_2, t))
w = w - step_size * m_hat / (np.sqrt(v_hat) + epsilon)
AdaMax是在Adam的基础上做了一丢丢的改进。由公式(7.1)可以知道Adam在计算 时采用的 norm,即
那么很自然地我们会想是否可以推广到任意的norm呢？所以AdaMax的做法是
注意，上式中 也引入了 norm。当 值较大时，norm计算起来不稳定，所以这也是为什么1-norm和2-norm是最常用的。但是AdaMax作者发现 表现更好，所以这也是为什么叫做AdaMax了。
为了避免和Adam混淆，我们使用 来表示无穷范数约束的 ,即
将 代入公式(7.5)可得
推荐的参数设置如下：
9. Nadam
Adam = RMSprop + Momentum
Nadam = NAG + Adam
9.1 NAG→Nadam
我们先介绍如何引入NAG算法。不过在此之前我们回顾一下Momentum更新算法的公式：
所以momentum的更新方向是 前一时刻的momentum 加上 当前时刻的梯度 这两个矢量的方向。
之后的NAG算法对更新方向做了修正，解决momentum刹不住车的问题。公式如下，可以看到上一时刻的momentum 被使用了两次，一次是用来更新 ，一次是用来更新 。
NAG的思想主要是在计算梯度 时使用了未来位置：。换句话说，只要计算梯度时考虑了**未来**的因素，那应该也能达到NAG的效果[3]。因此在Nadam中， 的计算仍然使用原来的计算方式，即 ，但是在迭代更新 时则使用未来时刻的momentum 也就行了，所以引入NAG后的计算公式为：
(9.3)的第3行你可能会好奇为什么未来时刻的momentum ，推理如下：- 因为 ，那么 - 假设连续两次的梯度变化不大，那么则有 - 所以
所以(9.1)变成(9.3)并不是简单地理解成把 替换成 。不过上面的分析也可以知道Nadam使用的场景是梯度不会发生剧烈变化，否则上边的式子就不成立了。
9.2 Adam→Nadam
由9.1节可以知道，引入NAG的方法简单理解就是在更新 的时候，把 替换成 （注意，只是为了方便后面那说明才这么写，其实并不是简单替换，9.1节最后已经说明过了），那么下面就是把Adam引入进来，在介绍之前还是回顾一下Adam的计算规则：
简单理解，引入NAG时把 替换成了 ，同样地我们也可以对(9.4)最后一行做同样操作后则可以得到Nadam最终的计算规则了：
