梯度下降法是最流行的优化算法之一，并且目前为止是优化神经网络常见的算法。梯度下降是一种通过在目标函数梯度的反向上更新模型参数，来最小化模型参数的目标函数的方法。学习率决定了我们前往（局部）极小值的步长。
梯度下降算法变种，它们不同之处在于我们在计算目标函数梯度时所用数据量的多少。依据数据的规模，我们在更新参数的准确性和执行一次更新所用时间之间进行一种折中。
对于SGD或者MBGD而言，每次使用的损失函数只是通过一个小批量的数据确定的，其函数图像与真实全集损失函数有所不同，所以其求解的梯度也包含有一定的随机性，在鞍点或者局部最小值点的时候，震荡跳动，因为在此点处。而BGD，则优化会停止不动，如果是mini-batch或者SGD，每次找到的梯度都是不同的，就会发生震荡，来回跳动。
梯度下降法
为了便于理解，我们将使用只包含一个特征的线性回归来展开。此时线性回归的假设函数为：
其中
表示样本数。
对应的目标函数（代价函数为）：
下图为目标函数的图像：
1 批量梯度下降（Batch Gradient Descent, BGD）
每次迭代使用所有样本进行梯度的更新
(1) 目标函数求偏导：
其中
表示样本数，
表示特征数，这里我们使用了偏置项
(2) 每次迭代对参数进行更新
这里更新时存在一个求和函数，即为对所有样本进行计算粗粒，可与下文SGD法进行比较。伪代码形式为：
repeat{
(for j = 0, 1)
}
优点：
(1) 一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。
(2) 由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能够得到全局最优解。
缺点：
(1) 当样本数目m很大时，每次迭代一步都需要对所有样本计算，训练过程会很慢。
2 随机梯度下降 (Stochastic Gradient Descent, SGD)
随机梯度下降每次迭代一个样本对参数进行更新。使得训练速度加快。使得训练速度加快。
对于一个样本目标函数为：
(1) 对目标函数求偏导：
(2) 参数更新：
伪代码形式为：
repeat{
for i = 1, ..., m{
(for j = 0, 1)
}
}
优点：
(1) 由于不是在全部训练数据上的损失函数，而是在每轮迭代中，随机优化某一条训练数据上的损失函数，这样每一轮参数的更新速度大大加快。
缺点：
(1) 准确度下降。由于即使在目标函数为强凸函数的情况下，SGD仍旧无法做到线性收敛。
(2) 可能会收敛到局部最优，由于单个样本并不能代表全体样本的趋势。
(3) 不易于并行实现。
3 小批量梯度下降
对批量梯度下降以及随机梯度下降的一个折中的办法。batch_size = 10, 样本数m = 1000。
优点：
(1) 通过矩阵运算，每次在一个batch上优化神经网络参数并不会比单个数据慢太多。
(2) 每次使用一个batch可以大大减小收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果。
(3) 可实现并行化。
缺点：
(1) batch_size的不当选择可能会带来一些问题。
batch_size的选择带来的影响：
(1) 在合理地范围内，增大batch_size的好处：
a 内存利用率提高了，大矩阵乘法的并行化效率提高。
b 跑完一次epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。
c 在一定范围内，一般来说batch_size越大，其确定的下降方向越准，引起训练震荡越小。
(2) 盲目增大batch_size的坏处：
a 内存利用率提高了，但是内存容量可能撑不住了。
b 跑完一次epoch所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓慢。
c batch_size增大到一定程度，其确定的下降方向已经基本不再变化。
梯度下降优化算法：
Nesterov梯度加速法
Adagrad方法
AdaDelta方法
RMSprop算法
Adam算法
