cnn正向传播和反向传播图片 cnn前向传播算法

在前面我们讲到了DNN，以及DNN的特例CNN的模型和前向反向传播算法。链接如下：

深度学习（一）：DNN前向传播算法和反向传播算法深度学习（二）：DNN损失函数和激活函数的选择深度学习（四）：卷积神经网络(CNN)模型结构，前向传播算法和反向传播算法介绍。

建议在读本文之前，重点读下前2篇文章。如果不了解DNN的前向和反向传播的话，理解本篇文章会有难度。

这些算法都是前向反馈的，模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络：循环神经网络(Recurrent Neural Networks ，以下简称RNN)，它广泛的用于自然语言处理中的语音识别，手写书别以及机器翻译等领域。

一、RNN概述

在前面讲到的DNN和CNN中，训练样本的输入和输出是比较确定的。但是有一类问题DNN和CNN不好解决，就是训练样本输入是连续的序列,且序列的长短不一，比如基于时间的序列：一段段连续的语音，一段段连续的手写文字。这些序列比较长，且长度不一，比较难直接的拆分成一个个独立的样本来通过DNN/CNN进行训练。

而对于这类问题，RNN则比较的擅长。那么RNN是怎么做到的呢？RNN假设我们的样本是基于序列的。比如是从序列索引1到序列索引$\tau$的。对于这其中的任意序列索引号$t$,它对应的输入是对应的样本序列中的$x^{(t)}$。而模型在序列索引号$t$位置的隐藏状态$h^{(t)}$，则由$x^{(t)}$和在$t−1$位置的隐藏状态$h^{(t−1)}$共同决定。在任意序列索引号$t$，我们也有对应的模型预测输出$o^{(t)}$。通过预测输出$o^{(t)}$和训练序列真实输出$y^{(t)}$,以及损失函数$L^{(t)}$，我们就可以用DNN类似的方法来训练模型，接着用来预测测试序列中的一些位置的输出。

下面我们来看看RNN的模型。

二、RNN模型

RNN模型有比较多的变种，这里介绍最主流的RNN模型结构如下：

上图中左边是RNN模型没有按时间展开的图，如果按时间序列展开，则是上图中的右边部分。我们重点观察右边部分的图。

这幅图描述了在序列索引号$t$附近RNN的模型。其中：

1）$x^{(t)}$代表在序列索引号t时训练样本的输入。同样的，$x^{(t−1)}$和$x^{(t+1)}$代表在序列索引号$t−1$和$t+1$时训练样本的输入。

2）$h^{(t)}$代表在序列索引号$t$时模型的隐藏状态。$h^{(t)}$由$x^{(t)}$和$h^{(t-1)}$共同决定。

3）$o^{(t)}$代表在序列索引号$t$时模型的输出。$o^{(t)}$只由模型当前的隐藏状态$h^{(t)}$决定。

4）$L^{(t)}$代表在序列索引号$t$时模型的损失函数。

5）$y^{(t)}$代表在序列索引号$t$时训练样本序列的真实输出。

6）$U,W,V$这三个矩阵是我们的模型的线性关系参数，它在整个RNN网络中是共享的，这点和DNN很不相同。 也正因为是共享了，它体现了RNN的模型的“循环反馈”的思想。

三、RNN前向传播算法

有了上面的模型，RNN的前向传播算法就很容易得到了。

对于任意一个序列索引号$t$，我们隐藏状态$h^{(t)}$由$x^{(t)}$和$h^{(t-1)}$得到：
$h^{(t)} = \sigma(z^{(t)}) = \sigma(Ux^{(t)} + Wh^{(t-1)} +b ) \qquad \text{(1)}$

其中$\sigma$为RNN的激活函数，一般为tanh, $b$为线性关系的偏倚。

序列索引号$t$时模型的输出$o^{(t)}$的表达式比较简单：
$o^{(t)} = Vh^{(t)} +c\qquad \text{(2)}$

在最终在序列索引号$t$时我们的预测输出为:
$\hat{y}^{(t)} = \sigma(o^{(t)})\qquad \text{(3)}$

通常由于RNN是分类模型，所以上面这个激活函数一般是softmax。

通过损失函数$L^{(t)}$，比如对数似然损失函数，我们可以量化模型在当前位置的损失，即$\hat{y}^{(t)}$和$y^{(t)}$的差距。

四、RNN反向传播算法推导

有了RNN前向传播算法的基础，就容易推导出RNN反向传播算法的流程了。RNN反向传播算法的思路和DNN是一样的，即通过梯度下降法一轮轮的迭代，得到合适的RNN模型参数$U,W,V,b,c$。由于我们是基于时间反向传播，所以RNN的反向传播有时也叫做BPTT(back-propagation through time)。当然这里的BPTT和DNN也有很大的不同点，即这里所有的$U,W,V,b,c$在序列的各个位置是共享的，反向传播时我们更新的是相同的参数。

为了简化描述，这里的损失函数我们为对数损失函数，输出的激活函数为softmax函数，隐藏层的激活函数为tanh函数。

对于RNN，由于我们在序列的每个位置都有损失函数，因此最终的损失$L$为：

$L = \sum\limits_{t=1}^{\tau}L^{(t)}\qquad \text{(4)}$

根据公式（2），$V,c$的梯度计算是比较简单的：
$\frac{\partial L}{\partial c} = \sum\limits_{t=1}^{\tau}\frac{\partial L^{(t)}}{\partial c} =\sum\limits_{t=1}^{\tau}\frac{\partial L^{(t)}}{\partial o^{(t)}} \frac{\partial o^{(t)}}{\partial c} = \sum\limits_{t=1}^{\tau}\frac{\partial L^{(t)}}{\hat{y}^{(t)}} \frac{\hat{y}^{(t)}}{\partial o^{(t)}} \frac{\partial o^{(t)}}{\partial c} = \sum\limits_{t=1}^{\tau}\hat{y}^{(t)} - y^{(t)}\qquad \text{(5)}$

$\frac{\partial L}{\partial V} =\sum\limits_{t=1}^{\tau}\frac{\partial L^{(t)}}{\partial V} = \sum\limits_{t=1}^{\tau}\frac{\partial L^{(t)}}{\partial o^{(t)}} \frac{\partial o^{(t)}}{\partial V} = \sum\limits_{t=1}^{\tau}(\hat{y}^{(t)} - y^{(t)}) (h^{(t)})^T\qquad \text{(6)}$

---

有必要介绍下公式（5）和（6）的求导。

对于公式（5），由于激活函数是softmax，损失函数是对数损失，因此该推导过程与深度学习（二）：DNN损失函数和激活函数的选择里的公式（4）完全一样。

对于公式（6），为什么$(h^{(t)})^T$会放在后面，那是因为在实际矩阵求导的链式法则里面，对于两步的链式法则：

1）如果是标量对矩阵求导改成链式法则，那么求导的后半部分不用提前。
比如$y=f(u), u=f(x), y$为标量，$u,x$为矩阵，则：
$\frac{\partial y}{\partial x} =\frac{\partial y}{\partial u}( \frac{\partial u}{\partial x})^T$

2）如果是标量对向量求导改成链式法则，那么求导的后半部分要提前。
比如$y=f(u), u=f(x), y$为标量，$u,x$为向量，则：
$\frac{\partial y}{\partial x} =( \frac{\partial u}{\partial x})^T\frac{\partial y}{\partial u}$

---

但是$W,U,b$的梯度计算就比较的复杂了。从RNN的模型可以看出，在反向传播时，在某一序列位置$t$的梯度损失由当前位置的输出对应的梯度损失和序列索引位置$t+1$时的梯度损失两部分共同决定。对于$W$在某一序列位置$t$的梯度损失需要反向传播一步步的计算。我们定义序列索引$t$位置的隐藏状态的梯度为：
$\delta^{(t)} = \frac{\partial L}{\partial h^{(t)}}\qquad \text{(7)}$

这样我们可以像DNN一样从$\delta^{(t+1)}$递推$\delta^{(t)}$ 。
$\delta^{(t)} =\frac{\partial L}{\partial o^{(t)}} \frac{\partial o^{(t)}}{\partial h^{(t)}} + \frac{\partial L}{\partial h^{(t+1)}}\frac{\partial h^{(t+1)}}{\partial h^{(t)}} = V^T(\hat{y}^{(t)} - y^{(t)}) + W^T\delta^{(t+1)}diag(1-(h^{(t+1)})^2)\qquad \text{(8)}$

$\delta^{(\tau)} =\frac{\partial L}{\partial o^{(\tau)}} \frac{\partial o^{(\tau)}}{\partial h^{(\tau)}} = V^T(\hat{y}^{(\tau)} - y^{(\tau)}) \qquad \text{(9)}$

---

有必要介绍下公式（8）和（9）的求导。

先来看公式（8），两部分相加的原因是：
$h^{(t)}→o^{(t)}→L$
$h^{(t)}→h^{(t+1)}→L$
所以$L$对$h^{(t)}$求导时，要分别经过$o^{(t)}$和$h^{(t+1)}$对$h^{(t)}$进行求导。

$\large \frac{\partial L}{\partial o^{(t)}} \frac{\partial o^{(t)}}{\partial h^{(t)}}$的导数是$V^T(\hat{y}^{(t)} - y^{(t)})$，这是显然的。

重点是$\frac{\partial L}{\partial h^{(t+1)}}\frac{\partial h^{(t+1)}}{\partial h^{(t)}}$的导数怎么求。根据公式（1）
$h^{(t+1)} = \sigma(z^{(t+1)}) = \sigma(Ux^{(t+1)} + Wh^{(t)} +b ) \qquad \text{(1)}$

在前面我们介绍过了，隐含层的激活函数是tanh激活函数，即$y=tanh(x)$，它的导数为$y^{'}=1-y^2$。结合
深度学习（一）：DNN前向传播算法和反向传播算法中公式（12），有
$\frac{\partial L}{\partial h^{(t+1)}} \frac{\partial h^{(t+1)}}{\partial h^{(t)}} = W^T\delta^{(t+1)} \odot (1-(h^{(t+1)})^2)=W^T\delta^{(t+1)}diag(1-(h^{(t+1)})^2)\qquad \text{(8)}$

这里是双曲正切激活函数，用矩阵中对角线元素表示向量中各个值的导数，可以去掉哈达马乘积，转化为矩阵乘法。

对于$W^T\delta^{(t+1)}diag(1-(h^{(t+1)})^2)$，正确的运算顺序应该是先$\delta^{(t+1)}diag(1-(h^{(t+1)})^2)$(注意这里是哈德玛乘积的意思，即$n$个元素对应位置相乘，并非$n*1$乘以$n*n$)，然后再用$W^T$与上面的结果运算。即先进行哈德玛乘积。

知道了公式（8），公式（9）是显然易见的。

---

有了$\delta^{(t)}$,计算$W,U,b$就容易了，这里给出$W,U,b$的梯度计算表达式：
$\frac{\partial L}{\partial W} = \sum\limits_{t=1}^{\tau}\frac{\partial L}{\partial h^{(t)}} \frac{\partial h^{(t)}}{\partial W} = \sum\limits_{t=1}^{\tau}diag(1-(h^{(t)})^2)\delta^{(t)}(h^{(t-1)})^T\qquad \text{(10)}$

$\frac{\partial L}{\partial b}= \sum\limits_{t=1}^{\tau}\frac{\partial L}{\partial h^{(t)}} \frac{\partial h^{(t)}}{\partial b} = \sum\limits_{t=1}^{\tau}diag(1-(h^{(t)})^2)\delta^{(t)}\qquad \text{(11)}$

$\frac{\partial L}{\partial U} = \sum\limits_{t=1}^{\tau}\frac{\partial L}{\partial h^{(t)}} \frac{\partial h^{(t)}}{\partial U} = \sum\limits_{t=1}^{\tau}diag(1-(h^{(t)})^2)\delta^{(t)}(x^{(t)})^T\qquad \text{(12)}$

可以看到，除了梯度表达式不同，RNN的反向传播算法和DNN区别不大。

五、RNN小结

上面总结了通用的RNN模型和前向反向传播算法。当然，有些RNN模型会有些不同，自然前向反向传播的公式会有些不一样，但是原理基本类似。

RNN虽然理论上可以很漂亮的解决序列数据的训练，但是它也像DNN一样有梯度消失时的问题，当序列很长的时候问题尤其严重。因此，上面的RNN模型一般不能直接用于应用领域。在语音识别，手写书别以及机器翻译等NLP领域实际应用比较广泛的是基于RNN模型的一个特例LSTM，下一篇我们就来讨论LSTM模型。

参考文献

循环神经网络(RNN)模型与前向反向传播算法 该篇博客。