一、知识梳理
二、重点讲解
待续
三、作业
1. VGG网络结构
采用更小的卷积核3x3,需要训练的参数减少。如果卷积层C2的卷积核数量是N,上一层C1卷积核数量是M,则用一个5*5 size的卷积核实现该层卷积的参数数量是:5*5*N*M=25N*M;如果用两个3*3 size大小的卷积核代替一个5*5 size大小的卷积核,此时的参数数量是:(3*3*2)*N*M=18N*M。
2. GoogLeNet的inception模块的结构
1)Inception-V1
基本组成结构有四个成分。1*1卷积,3*3卷积,5*5卷积,3*3最大池化。最后对四个成分运算结果进行通道上组合。这就是Inception Module的核心思想。通过多个卷积核提取图像不同尺度的信息,最后进行融合,可以得到图像更好的表征。
2)Inception-V2
用两个3*3卷积代替5*5卷积,可以降低参数量;提出BN算法。BN算法是一个正则化方法,可以提高大网络的收敛速度。简单介绍一下BN算法。就是对输入层信息分布标准化处理,使得规范化为N(0,1)的高斯分布,收敛速度大大提高。
3)Inception-V3
学习Factorization into small convolutions的思想,将一个二维卷积拆分成两个较小卷积,例如将7*7卷积拆成1*7卷积和7*1卷积。这样做的好处是降低参数量。paper中指出,通过这种非对称的卷积拆分,比对称的拆分为几个相同的卷积效果更好,可以处理更多,更丰富的空间特征。
4)Inception-V4
Inception-v4是对原来的版本进行了梳理,因为原始模型是采用分区方式训练,而迁移到TensorFlow框架后可以对Inception模块进行一定的规范和简化。Inception-v4整体结构如图所示,网络的输入是299x299大小。在使用Inception模块之前,有一个stem模块,如右图所示,这个模块在Inception-v3网络也是存在的,它将输出35x35大小的特征图。
5)Inception-ResNet(原有基础上加入残差模块)
3. Resnet构成模块
如果网络已经到达最优,继续加深网络,residual mapping将被push为0,只剩下identity mapping,这样理论上网络一直处于最优状态了,网络的性能也就不会随着深度增加而降低了,如此可以避免过拟合问题。