多分类全连接神经网络 全连接神经网络参数量

笔记

卷积神经网络

1. 卷积的特点：局部连接，权值共享，输入/输出数据的结构化。
   局部连接指的是输出特征图上的每个节点都至于输入层的部分节点相连接。
   全职共享指卷积核的滑窗机制，使得输出层上不同位置的节点与输入层的连接权值是一样的。
   以上两个特点使得卷积操作能够在数据中大致保持输入数据的结构信息（空间对应关系）。而全连接层会丧失这种对应关系。
2. 参数量取决于每个卷积核的参数量以及卷积核的个数。如每个卷积核有$c^{i}k_wk_h$个参数，而卷积核个数等于输出特征图的通道数，总参数量为 $c^{o}c^{i}k_wk_h$。
3. 计算量 计算量由卷积核在每个滑动窗的计算量以及整体的滑动次数决定。在每个滑动窗内，卷积操作计算量为$c^{i}k_wk_h$，而卷积核的滑动次数即输出特征图的数据个数$c^{o}l_w^{o}l_h^{o}$。总计算量为相乘$c^{i}c^{o}l_w^{o}l_h^{o}k_wk_h$，若考虑步长，可近似为$c^{i}c^{o}l_w^{o}l_h^{o}k_wk_h/(s_ws_h)$。
4. 分组卷积为了解决单个GPU不足以处理较大计算量和存储需求的卷积层的问题。采用分组卷积分配到多个GPU上。目前常用于移动设备的小型网络模型。
5. 卷积过程往往特征图缩小，这是一种信息聚合。
6. inception结构：不仅是进行多尺度特征提取，也是使得网络结构稀疏化（思想是稀疏矩阵可以分解为多个稠密矩阵）。
7. bottleneck结构 可以通过$1{\times} 1$卷积调整输出层的通道数。
8. ResNet采用跳层连接，若网络因层数加深而退化，则它可以通过控制网络中“近道”与“非近道”的比例来退回到之前浅层时的状态，即“近道”具有自我关闭能力。此外，可以缩短误差反向传播的到各层的路径，有效一致梯度消失的现象，从而使得网络在加深时性能不会下降。
   .