Inception

Inception网络首次提出是在2014年，这个版本被称为V1，他的深度是22，比AlexNet的8层和VGG Net的19层都要深，但其参数量只有500万，仅为AlexNet参数量（6000万）的1/12。Inception V1参数少效果好的原因除了模型层数更深，表达能力更强外，还有两点：

  1. 去除了最后的全连接层，改用全局平均池化层（图片尺寸变成1x1）取代它，去除全连接层后模型训练更快并减轻了过拟合。
  2. 精心设计了Inception Module提高了参数的利用效率，一般来说卷积层增加表达能力主要依靠增加通道数，但副作用是计算量增大和过拟合，NIN（Network In Network）则拥有更强的表达能力，允许在输出通道之间组合信息，因而效果更明显。

Inception Module的基本结构有四个分支：

  1. 第一个分支对输入进行1x1的卷积，1x1的卷积是一个非常优秀的结构，他可以跨通道组织信息，提高模型的表达能力，同时可以对通道进行降维和升维。
  2. 第二个分支先使用1x1的卷积，然后连接3x3的卷积，相当于进行了两次特征变换。
  3. 第三个分支先是1x1的卷积然后连接5x5的卷积。
  4. 第四个分支先使用3x3的最大池化后再连接1x1的卷积。

除了V1，Google Inception Net还包括V2-V4版本：

  • V2学习VGG Net，用两个连续的3x3卷积代替5x5的大卷积，用以减轻参数降低过拟合；另外还提出著名的Batch Normalization方法，这是一个非常有效的正则化方法，可以让大型卷积网络的训练速度加快很多倍，同时收敛后的准确率也有大幅提高；增大学习速率并加快衰减速度以适应BN规范化后的数据；去除Dropout并减轻L2正则；去除LRN；减少数据增强过程中对数据的光学畸变等。
  • V3网络主要有两方面的改造：一是将一个较大的二维卷积拆成两个较小的一维卷积，这样减少了大量参数，加速运算并减轻了过拟合，同时增强了一层非线性扩展模型表达能力；二是优化了Inception Module的结构，除了在Inception Module中使用分支，还在分支中使用了分支。
  • V4相比V3主要结合了微软的ResNet。
Inception V3网络结构

IEEE里卷积神经网络 卷积神经网络inception_Network

IEEE里卷积神经网络 卷积神经网络inception_过拟合_02

参考