下雨天：
有些人能听见下雨的声音，有些事只是在奔跑中淋湿！
We are all in the gutter, but some of us are looking at the stars.Oscar Wilde我们都生活在阴沟里，但仍有人仰望星空。——奥斯卡·王尔德！
本文综述了几种常用的优化
主要比较的是SGD、Adagrad、Adadelta、Adam、adamax、Nada。
SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的具体区别就不细说了。现在的SGD一般都指mini-batch gradient descent。

SGD就是每一次迭代计算mini-batch的梯度，然后对参数进行更新，是最常见的优化方法了。

缺点：（正因为有这些缺点才让这么多大神发展出了后续的各种算法）

选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了

SGD容易收敛到局部最优，并且在某些情况下可能被困在鞍点【原来写的是“容易困于鞍点”，经查阅论文发现，其实在合适的初始化和step size的情况下，鞍点的影响并没这么大

momentum是模拟物理里动量的概念，积累之前的动量来替代真正的梯度。
特点：

下降初期时，使用上一次参数更新，下降方向一致，乘上较大的u能够进行很好的加速
下降中后期时，在局部最小值来回震荡的时候，gradient-0，u使得更新幅度增大，跳出陷阱
在梯度改变方向的时候，u能够减少更新 总而言之，momentum项能够在相关方向加速SGD，抑制振荡，从而加快收敛

Nesterov

nesterov项在梯度更新时做一个校正，避免前进太快，同时提高灵敏度
momentum首先计算一个梯度(短的蓝色向量)，然后在加速更新梯度的方向进行一个大的跳跃(长的蓝色向量)，nesterov项首先在之前加速的梯度方向进行一个大的跳跃(棕色向量)，计算梯度然后进行校正(绿色梯向量)

其实，momentum项和nesterov项都是为了使梯度更新更加灵活，对不同情况有针对性。但是，人工设置一些学习率总还是有些生硬，接下来介绍几种自适应学习率的方法
Adagrad

Adagrad其实是对学习率进行了一个约束
特点：

前期g_t较小的时候， regularizer较大，能够放大梯度
后期g_t较大的时候，regularizer较小，能够约束梯度
适合处理稀疏梯度

缺点：

由公式可以看出，仍依赖于人工设置一个全局学习率
\eta设置过大的话，会使regularizer过于敏感，对梯度的调节太大
中后期，分母上梯度平方的累加将会越来越大，使gradient->0，使得训练提前结束 
RMSprop 特点：

其实RMSprop依然依赖于全局学习率
RMSprop算是Adagrad的一种发展，和Adadelta的变体，效果趋于二者之间
适合处理非平稳目标 - 对于RNN效果很好

Adam

Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳
特点：

结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点
对内存需求较小
为不同的参数计算不同的自适应学习率
也适用于大多非凸优化 - 适用于大数据集和高维空间

Adamax

Adamax是Adam的一种变体，此方法对学习率的上限提供了一个更简单的范围
可以看出，Adamax学习率的边界范围更简单
Nadam

Nadam类似于带有Nesterov动量项的Adam
可以看出，Nadam对学习率有了更强的约束，同时对梯度的更新也有更直接的影响。一般而言，在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果。
经验之谈

对于稀疏数据，尽量使用学习率可自适应的优化方法，不用手动调节，而且最好采用默认值
SGD通常训练时间更长，但是在好的初始化和学习率调度方案的情况下，结果更可靠
如果在意更快的收敛，并且需要训练较深较复杂的网络时，推荐使用学习率自适应的优化方法。
Adadelta，RMSprop，Adam是比较相近的算法，在相似的情况下表现差不多。
在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果

Rishabh Shukla大侠将深度学习训练调优的秘籍分享了出来
训练数据预处理
尽管深度学习相比浅层学习对输入数据的特征更加不敏感，但也要做好必要的预处理工作，包括：尽可能获得更多的数据（百万级以上），移除不良数据（噪音、假数据或空值等），做必要的数据增强等。
选择合适的激励函数
合适的激励函数将为模型引入必要的非线性因素。Sigmoid函数由于其可微分的性质是传统神经网络的最佳选择，但在深层网络中会引入梯度消失和非零点中心问题。Tanh函数可避免非零点中心问题，此外还可以尝试ReLU、SoftSign等面向特定任务的激励函数。
确定隐层单元和数量
隐层单元数量多少决定了模型是否欠拟合或过拟合，两害相权取其轻，尽量选择更多的隐层单元，因为可以通过正则化的方法避免过拟合。与此类似的，尽可能的添加隐层数量，直到测试误差不再改变为止。
权重初始化
权重初始化常采用随机生成方法以避免网络单元的对称性，但仍过于太过粗糙，根据目前最新的实验结果，权重的均匀分布初始化是一个最优的选择，同时均匀分布的函数范围由单元的连接数确定，即越多连接权重相对越小。
确定学习速率 （一般0.05，这个和步长有关）
学习速率是重要的超参数之一，它是在收敛速度和是否收敛之间的权衡参数。选择0.01或者伴随着迭代逐步减少都是合理的选择，最新的方法开始研究学习速率的自动调整变化，例如基于目标函数曲率的动量或自适应调参等。
超参数调优
网格搜索是传统机器学习方法中的重要超参数优化手段，然而深度神经网络参数的大幅增多将使得该过程呈指数爆炸而不可行。可行的解决办法是通过随机采样或者添加先验知识来降低搜索空间范围。
选择优化算法
传统的随机梯度下降算法虽然适用很广，但并不高效，最近出现很多更灵活的优化算法，例如Adagrad、RMSProp等，可在迭代优化的过程中自适应的调节学习速率等超参数，效果更佳。
参数设置技巧
无论是多核CPU还是GPU加速，内存管理仍然以字节为基本单元做硬件优化，因此将参数设定为2的指数倍，如64，128，512，1024等，将有效提高矩阵分片、张量计算等操作的硬件处理效率。
正则优化
除了在神经网络单元上添加传统的L1/L2正则项外，Dropout更经常在深度神经网络应用来避免模型的过拟合。初始默认的0.5的丢弃率是保守的选择，如果模型不是很复杂，设置为0.2足矣。
其他方法
除了上述训练调优的方法外，还有其他一些常用方法，包括：使用mini-batch learning方法、迁移训练学习、打乱训练集顺序、对比训练误差和测试误差调节迭代次数、日志可视化观察等等。