反向传播算法是最常见的一种神经网络训练算法。
借助这种算法，梯度下降法在多层神经网络中将成为可行方法。
TensorFlow 可自动处理反向传播算法，因此不需要对该算法作深入研究。
1- 最佳做法
1.1 失败案例
很多常见情况都会导致反向传播算法出错。
梯度消失
较低层（更接近输入）的梯度可能会变得非常小。
在深度网络中，计算这些梯度时，可能涉及许多小项的乘积。
当较低层的梯度逐渐消失到 0 时，这些层的训练速度会非常缓慢，甚至不再训练。
ReLU 激活函数有助于防止梯度消失。
梯度爆炸
如果网络中的权重过大，则较低层的梯度会涉及许多大项的乘积。
在这种情况下，梯度就会爆炸：梯度过大导致难以收敛。
批标准化可以降低学习速率，因而有助于防止梯度爆炸。
ReLU 单元消失
一旦 ReLU 单元的加权和低于 0，ReLU 单元就可能会停滞。
它会输出对网络输出没有任何贡献的 0 激活，而梯度在反向传播算法期间将无法再从中流过。
由于梯度的来源被切断，ReLU 的输入可能无法作出足够的改变来使加权和恢复到 0 以上。
降低学习速率有助于防止 ReLU 单元消失。
1.2 丢弃正则化
这是称为丢弃的另一种形式的正则化，可用于神经网络。
其工作原理是，在梯度下降法的每一步中随机丢弃一些网络单元。丢弃得越多，正则化效果就越强：
- 0.0 = 无丢弃正则化。
- 1.0 = 丢弃所有内容。模型学不到任何规律。
- 0.0 和 1.0 之间的值更有用。
2- 练习
xxx
3- 关键词
激活函数 (activation function)
一种函数（例如 ReLU 或 S 型函数），用于对上一层的所有输入求加权和，然后生成一个输出值（通常为非线性值），并将其传递给下一层。
反向传播算法 (backpropagation)
在神经网络上执行梯度下降法的主要算法。
该算法会先按前向传播方式计算（并缓存）每个节点的输出值，然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。
丢弃正则化 (dropout regularization)
正则化的一种形式，在训练神经网络方面非常有用。
丢弃正则化的运作机制是，在一个梯度步长中移除从神经网络层中随机选择的固定数量的单元。
丢弃的单元越多，正则化效果就越强。这类似于训练神经网络以模拟较小网络的指数级规模集成学习。
梯度下降法 (gradient descent)
一种通过计算并且减小梯度将损失降至最低的技术，它以训练数据为条件，来计算损失相对于模型参数的梯度。
通俗来说，梯度下降法以迭代方式调整参数，逐渐找到权重和偏差的最佳组合，从而将损失降至最低。
修正线性单元 (ReLU, Rectified Linear Unit)
一种激活函数，其规则如下：
- 如果输入为负数或 0，则输出 0。
- 如果输入为正数，则输出等于输入。
4- 其他
反向传播算法
反向传播算法是最常见的一种神经网络训练算法。
借助这种算法，梯度下降法在多层神经网络中将成为可行方法。
TensorFlow 可自动处理反向传播算法，因此不需要对该算法作深入研究。
反向传播工作原理演示：https://google-developers.appspot.com/machine-learning/crash-course/backprop-scroll/注意：
- 数据如何流经图表。
- 可以如何借助动态规划避免计算图表中数量达指数级别的路径。这里的“动态规划”仅仅是指记录正向传播和反向传播的中间结果。
