1.池化层的作用
除了卷积层,卷积网络也经常使用池化层,来缩减模型大小,提高计算速度;同时提高所提取特征的鲁棒性。
2.池化层的超级参数(Haperparameters)
池化层的超级参数包:
f:filter size
s:stride
常用的超级参数值为f=2;s=2。其效果相当于高度和和宽度缩减一半。当然也可能用到padding,但是这种情况是极其少见的。
Max or Average pooling
* 池化过程中没有需要学习的参数,执行反向传播时,反向传播没有参数适用于最大池化
* 最大池化只是计算神经网络某一层的静态属性,没有什么需要学习的,只是静态属性。
池化层举例:
最大池化
e.g1
e.g2
计算最大池化的方法:就是分别对每个信道执行上面的计算操作
-平均池化
顾名思义,就是计算过滤器里的平均值
最大池化要比平均池化更常用,但也有例外,就是深度很深的神经网络,你可以用平均池化来分解规模为7x7x1000的网络的表示层。但在神经网络中最大池化要比平均池化用的更多。
全连接层示例
引入:一类卷积是一个卷积层和一个池化层作为一层;另一类卷积是吧卷积层作为一层,而池化层座位另一层。人们在计算神经网络有多少层时,通常只是统计具有权重的层和参数的层,因为池化层没有参数,只是有超级参数。当然,这只是两种不同的标记术语。
·· layerⅠ包含一个卷积层和一个池化层
神经网络激活值示例
** 池化层和最大池化层没有参数
** 卷积层参数相对较少,许多参数都来自全连接层
随着神经网络的加深,激活值会逐渐减少,如果激活值下降太快,也会影响网络性能
许多计算机视觉研究正在探索,如何把这些基本模块整合起来,构建高效的神经网络,整合这些基本模块确实需要深入的理解和感觉。其中大量阅读别人的文献案例是必不可少的。