bengio前馈神经网络 前馈神经网络分类

文章目录

• 一、三种网络结构

• 1.前馈网络
• 2.反馈网络
• 3.图网络

• 二、详细介绍-前馈神经网络

• 网络中信息传播公式：
• 多层前馈神经网络也可以看成是一种特征转换方法
• 参数学习:反向传播算法

一、三种网络结构

1.前馈网络

前馈神经网络的信息朝一个方向传播，没有反向的信息传播，可以用一个有向无环图表示。前馈网络包括全连接前馈网络和卷积神经网络等。

2.反馈网络

反馈网络中神经元不但可以接收其它神经元的信号，也可以接收自己的反馈信号。和前馈网络相比， 反馈网络中的神经元具有记忆功能， 在不同的时刻具有不同的状态。反馈神经网络中的信息传播可以是单向的，用一个有向循环图表示；也可以是双向传递，用无向图来表示。 反馈网络包括循环神经网络、 Hopfield网络、玻尔兹曼机。

为了增强记忆网络的记忆容量， 可以引入外部记忆单元和读写机制， 用来保存一些网络的中间状态，称为记忆增强网络（Memory-Augmented Neural Net-

work），比如神经图灵机[Graves et al., 2014]和记忆网络[Sukhbaataret al., 2015]等。

3.图网络

图网络是定义在图结构数据上的神经网络。
前馈网络和反馈网络的输入都可以表示为向量或向量序列。但实际应用中很多数据是图结构的数据，比如知识图谱、社交网络、分子（molecular ）网络等。图网络中每个节点都一个或一组神经元构成。节点之间的连接可以是有向的，也可以是无向的。每个节点可以收到来自相邻节点或自身的信息。
图网络是前馈网络和记忆网络的泛化，包含很多不同的实现方式，比如图卷积网络（Graph Convolutional Network， GCN）[Kipf and Welling, 2016]、 消息传递网络（Message Passing Neural Network，MPNN）[Gilmer et al., 2017]等。

二、详细介绍-前馈神经网络

• $L$：表示神经网络的层数；一般只包括隐藏层和输出层。
• $m^{(l)}$：表示第l层神经元的个数；
• $f_l(·)$：表示l层神经元的激活函数；
• $W^{(l)}∈R^{m^{(l)}×m^{l−1}}$：表示l − 1层到第l层的权重矩阵；
• $b^{(l)}∈ R^{m^l}$：表示l − 1层到第l层的偏置；
• $z^{(l)}∈ R^{m^l}$：表示l层神经元的净输入（净活性值） ；
• $a^{(l)}∈ R^{m^l}$：表示l层神经元的输出（活性值） 。

网络中信息传播公式：

$z^{(l)}=W^{(l)}·a^{(l-1)}+b^{(l)}$
$a^{(l)}=f_l(z^{(l)})$

二式合并：

$z^{(l)}=W^{(l)}·f_{l-1}z^{(l-1)}+b^{(l)}$
$a^{(l)}=f_l(W^{(l)}·a^{(l-1)}+b^{(l)})$

多层前馈神经网络也可以看成是一种特征转换方法

多层前馈神经网络也可以看成是一种特征转换方法，将输入$x∈R^d$映射到输出$φ(x)∈R^{d^r}$，其输出φ(x)作为分类器的输入进行分类。
如果分类器g(·)为Logistic回归分类器或softmax回归分类器，那么g(·)也可以看成是网络的最后一层，即神经网络直接输出不同类别的后验概率。
反之，Logistic 回归或 soft-max回归也可以看作是只有一层的神经网络。
对于两类分类问题y ∈ {0,1}，并采用Logistic回归，那么Logistic回归分类器可以看成神经网络的最后一层。也就是说，网络的最后一层只用一个神经元，并且其激活函数为Logistic函数。网络的输出可以直接可以作为类别y = 1的后验概率。

$p(y=1|x)=a^{(L)}$

对于多类分类问题y ∈ {1,· · · , C}，如果使用softmax回归分类器，相当于网络最后一层设置C 个神经元，其激活函数为softmax函数。网络的输出可以作为每个类的后验概率。

$ˆ y = softmax(z^{(L)})$

参数学习:反向传播算法

梯度下降法需要计算损失函数对参数的偏导数，在神经网络的训练中经常使用反向传播算法来计算高效地梯度。
交叉熵损失函数：

$L(y, ˆy)=-y^T·log(ˆy)$

其中y ∈ {0,1}$^C为$标签y对应的one-hot向量表示。
$L(y, ˆy)$对$W$的偏导十分繁琐，先计算对$W_{ij}$的偏导：

$\frac{∂L(y, ˆy)}{∂W_{ij}^{(l)}}=(\frac{∂z^{(l)}}{∂W_{ij}^{(l)}})^{T} \frac{∂L(y, ˆy)}{∂z^{(l)}}$

$L(y, ˆy)$对b的偏导：

$\frac{∂L(y, ˆy)}{∂b^{(l)}}=(\frac{∂z^{(l)}}{∂b^{(l)}})^T\frac{∂L(y, ˆy)}{∂z^{(l)}}$

两个式子中的第二项是目标函数关于第l层的神经元z(l)的
偏导数， 称为误差项。
偏导数:

$\frac{∂z^{(l)}}{∂W_{ij}^{(l)}}=\begin{bmatrix} 0\\ ·\\a_j^{}l-1\\·\\0\end{bmatrix}=∏_i(a_j^{(l-1)})$

(2) $\frac{∂z^{(l)}}{∂b^{(l)}}=I_m^{(l)}$

(3) 误差项：$δ^{(l)}=\frac{∂L(y,ˆy)}{∂z^{(l)}}=f$

第l层的误差项可以通过第l + 1层的误差项计算得到，这就是误差的反向传播。
可得

$\frac{∂L(y, ˆy)}{∂W_{ij}^{(l)}}=∏_i(a_j^{(l-1)})^Tδ^{(l)}=δ_i^{(l)}a_j^{(l-1)}$

可得

$\frac{∂L(y, ˆy)}{∂W^{(l)}}=δ^{(l)}(a^{(l-1)})^T$

$\frac{∂L(y, ˆy)}{∂b^{(l)}}=δ^{(l)}$