1.池化层的作用

             除了卷积层,卷积网络也经常使用池化层,来缩减模型大小,提高计算速度;同时提高所提取特征的鲁棒性。

  

2.池化层的超级参数(Haperparameters)

             池化层的超级参数包:

                      f:filter size

                      s:stride

              常用的超级参数值为f=2;s=2。其效果相当于高度和和宽度缩减一半。当然也可能用到padding,但是这种情况是极其少见的。

              Max or Average pooling

             * 池化过程中没有需要学习的参数,执行反向传播时,反向传播没有参数适用于最大池化

             * 最大池化只是计算神经网络某一层的静态属性,没有什么需要学习的,只是静态属性。

               

池化层举例:

最大池化

e.g1

             

如何获取训练好的模型的全连接层权重 全连接层的参数_卷积

e.g2

            

如何获取训练好的模型的全连接层权重 全连接层的参数_如何获取训练好的模型的全连接层权重_02

           计算最大池化的方法:就是分别对每个信道执行上面的计算操作

-平均池化

           顾名思义,就是计算过滤器里的平均值

           最大池化要比平均池化更常用,但也有例外,就是深度很深的神经网络,你可以用平均池化来分解规模为7x7x1000的网络的表示层。但在神经网络中最大池化要比平均池化用的更多。

全连接层示例

            引入:一类卷积是一个卷积层和一个池化层作为一层;另一类卷积是吧卷积层作为一层,而池化层座位另一层。人们在计算神经网络有多少层时,通常只是统计具有权重的层和参数的层,因为池化层没有参数,只是有超级参数。当然,这只是两种不同的标记术语。

              

如何获取训练好的模型的全连接层权重 全连接层的参数_池化_03

            ·· layerⅠ包含一个卷积层和一个池化层

神经网络激活值示例

              

如何获取训练好的模型的全连接层权重 全连接层的参数_神经网络_04

              ** 池化层和最大池化层没有参数

              ** 卷积层参数相对较少,许多参数都来自全连接层

              随着神经网络的加深,激活值会逐渐减少,如果激活值下降太快,也会影响网络性能

许多计算机视觉研究正在探索,如何把这些基本模块整合起来,构建高效的神经网络,整合这些基本模块确实需要深入的理解和感觉。其中大量阅读别人的文献案例是必不可少的。