bp和cnn特点和不同 bp cnn

介绍CNN的BP算法之前还是先看下DNN，两者有很多相似的地方
DNN的BP算法
1.第i层神经元的输出$a^l$
2.第i层神经元的输入$z^l$
3.从第l-1层mapping到l层的权值矩阵$W^l$
4.与上面参数对应的偏移量$b^l$
5.train data的输入$x$
6.train data的输出$y$
7.设我们的输出层为第l层，对应$a^L$,采用均方差来度量误差，对应的损失函数为$J(W,b,x,y) = \frac{1}{2}||a^L-y||_2^2\qquad(1)$
有了损失函数之后就开始采用梯度下降法，记住我们的目的是为了求出每层的$W$和$b$,先来看下输出层的输出
$a^L = \sigma(z^L) = \sigma(W^La^{L-1} + b^L)\qquad(2)$
我们把(2)代入(1)中得到
$J(W,b,x,y) = \frac{1}{2}||a^L-y||_2^2 = \frac{1}{2}|| \sigma(W^La^{L-1} + b^L)-y||_2^2\qquad(3)$
我们利用链式求导法，求得$W$,$b$的梯度
$\frac{\partial J(W,b,x,y)}{\partial W^L} = \frac{\partial J(W,b,x,y)}{\partial z^L}\frac{\partial z^L}{\partial W^L} =(a^L-y) \odot \sigma^{$
$\frac{\partial J(W,b,x,y)}{\partial b^L} = \frac{\partial J(W,b,x,y)}{\partial z^L}\frac{\partial z^L}{\partial b^L} =(a^L-y)\odot \sigma^{$
其中$\odot$表示两个向量的乘积
上面两个式子有个公共的部分，那就是$\frac{\partial J(W,b,x,y)}{\partial z^L}$，我们可以单独把它拎出来看
$\delta^L = \frac{\partial J(W,b,x,y)}{\partial z^L} = (a^L-y)\odot \sigma^{$
我们这里引入了一个新的符号$\frac{\partial J(W,b,x,y)}{\partial z^l}$,这样我们就可以合并(4)、(5)两个式子
$\frac{\partial J(W,b,x,y)}{\partial W^l} = \frac{\partial J(W,b,x,y)}{\partial z^l} \frac{\partial z^l}{\partial W^l} = \delta^{l}(a^{l-1})^T\qquad(7)$
$\frac{\partial J(W,b,x,y)}{\partial b^l} = \frac{\partial J(W,b,x,y)}{\partial z^l} \frac{\partial z^l}{\partial b^l} = \delta^{l}\qquad(8)$
此时形势简单多了，我们只需要把$\delta^l$，$W,b$求出来就OK了
仔细看下式子(6),我们的数据按网络结果正向传播到输出层的时候$\delta^L$可以求出来，我们能不能依靠$\delta^L$来求$\delta^{L-1}$,$\delta^{L-2}$,$\delta^{L-3}$呢?
(因为反向传播算法，所以这里考虑能不能由后面的一项求相应的前面一项)
继续使用链式求导法可以得出：
$\delta^{l} = \frac{\partial J(W,b,x,y)}{\partial z^l} = \frac{\partial J(W,b,x,y)}{\partial z^{l+1}}\frac{\partial z^{l+1}}{\partial z^{l}} = \delta^{l+1}\frac{\partial z^{l+1}}{\partial z^{l}}\qquad(9)$
可见，想通过$\delta^{l+1}$来求$\delta^l$，关键是看怎么求$\frac{\partial z^{l+1}}{\partial z^{l}}$好，我们再来看$z^{l+1}$和$z^l$的关系，由式子(2)可以得出$z^{l+1}= W^{l+1}a^{l} + b^{l+1} = W^{l+1}\sigma(z^l) + b^{l+1}\qquad(10)$。
那么，$\frac{\partial z^{l+1}}{\partial z^{l}} = (W^{l+1})^T\odot {\sigma^{$代入(9)中得到$\delta^{l} = \delta^{l+1}\frac{\partial z^{l+1}}{\partial z^{l}} = (W^{l+1})^T\delta^{l+1}\odot \sigma^{$。
我们根据$\delta^L$，再根据上式的递推关系就可以求出每层的$\delta^l$，也就可以求出每层的$W,b$的梯度了。

CNN的BP算法
现在再来看看CNN的BP算法，由于CNN可以分为卷积层，池化层和全连接层，全连接层和DNN一样，不需要再说了，主要看另外两层，首先看看卷积层。
再说CNN的基本思想的时候我们已经给出了卷积层正向传播的公式：
$a^l= \sigma(z^l) = \sigma(a^{l-1}*W^l +b^l)\qquad(13)$
仔细看这个公式，和DNN正向传播的公式唯一区别就是有卷积操作$*$，注意这不是乘号*，我们还沿用和上述DNN相同的损失函数。公式(7),(8),(9)同样适用于卷积层，但是$z^l$和$z^{l-1}$的关系变了
$z^l = a^{l-1}*W^l +b^l =\sigma(z^{l-1})*W^l +b^l\qquad(14)$
这里和DNN的区别就是，对于含有卷积的式子求导，卷积核(W)被旋转180度，意思就是上下翻转，然后左右翻转，因此我们的公式(12)变成了:
$\delta^{l-1} = \delta^{l}\frac{\partial z^{l}}{\partial z^{l-1}} = \delta^{l}*rot180(W^{l}) \odot \sigma^{$
对卷积求导原理感兴趣的同学可以自行百度。
有了对卷积求导的知识就可以很轻易写出：
$\frac{\partial J(W,b)}{\partial W^{l}} = \frac{\partial J(W,b)}{\partial z^{l}}\frac{\partial z^{l}}{\partial W^{l}} =\delta^l*rot180(a^{l-1})\qquad(16)$
刚刚说公式(8)同样适合卷积层其实不够严谨，对于b的梯度不能像DNN那样直接等于 ,因为b是一个向量，而这里的因为经过了卷积求导后变成了一个三维的张量，所以可以近似地用一个误差向量代替：
$\frac{\partial J(W,b)}{\partial b^{l}} = \sum\limits_{u,v}(\delta^l)_{u,v}$
到这里我们已经解决了如何求卷积层上的$W,b$的梯度，就剩池化层了，池化层上$W,b$的梯度怎么求呢？不对，基本思想里说过池化层压根就没有$W,b$呀。那是不是可以直接忽略池化层呢？不行！CNN网络结构是一个整体，BP算法运行时，数据流肯定会经过池化层，误差在经过池化层后也会发生相应的变化。那求它的什么呢？想想，卷积层在求$\delta$时要依赖后一层的$\delta$,卷积层的后一层不正是池化层吗？所以我们要求出池化层的$\delta$。
在基本思想里面讲到，前向传播时池化层一般的操作是MAX或Average等，我们现在是要从压缩过的误差$\delta^I$来还原一个较大区域的误差。我们首先把$\delta^I$所有的子矩阵大小还原成池化前的大小，如果用的是MAX操作的话，就把所有子矩阵各个池化局部的值放在之前做前向传播时得到最大值的位置。这个过程叫做unsample。
举个例子就好理解了，假设$\delta^I$第k个子矩阵是$\begin{matrix}\begin{matrix} 2 & 8 \\ 4 & 6 \end{matrix} \end{matrix}$
假设我们池化窗口大小是2*2，则将其还原成原来大小就是$\begin{matrix}\begin{matrix} 0&0&0&0\\0&2&8&0 \\0&4& 6&0\\0&0&0&0\end{matrix} \end{matrix}$
这里假设我们之前前向传播时记录的最大值的位置分别是左上，右下，右上，左下，unsample后就是$\begin{matrix}\begin{matrix} 2&0&0&0\\0&0&0&8 \\0&4& 6&0\\0&0&6&0\end{matrix} \end{matrix}$
由于我们池化层是对卷积层的输出做池化的，所以在求$\delta$时不同于卷积层和全连接层，链式求导时先是对上一层的$a$求偏导，再乘上上一层的$z$的偏导，公式如下：
$\delta_k^{l-1} = \frac{\partial J(W,b)}{\partial a_k^{l-1}} \frac{\partial a_k^{l-1}}{\partial z_k^{l-1}} = upsample(\delta_k^l) \odot \sigma^{$
概括下：
$\delta^{l-1} = upsample(\delta^l) \odot \sigma^{$这里不同的池化操作也对应着不同的unsample操作