经典神经网络结构案例分析
（1）LeNet-5（1998）
（2）AlexNet（2012）
注：在AlexNet提出的那个年代，还没有GPU,所以用的是CPU进行并行计算
2.1 几种AlexNet的几种形象表示：
图像增强
2.2 AlexNet的特点
（3）ZFNet（2013）
在AlexNet的基础上对超参数进行优化
（4）VGG （2014）
为什么要采用3层大小为3*3和步长为1的卷积呢？两个33的卷积核1个55卷积的感受野一样，我们可以使用33的卷积，这样就会减少计算量、参数量、增加模型的深度、提高模型的非线性表达能力，百利无一害 
为什么说VGG是一个“臃肿”的模型？
因为参数多（特别是全连接），占用内存多
（5）GoogLeNet（2014）
当物体目标在图片中所占的大小不一样怎么办？GoogleNet是通过不同的卷积来提取不同的结果，称为多尺度并行卷积
5.1 原始的Inception模块：存在计算量大的问题，同时“作业本”的厚度增加，模型“臃肿”
5.2 改进方法：用1*1卷积核
改进后的GoogLeNet:
Global Average Pooling: 最后每张特征图的平均值，可以避免全连接层的使用
可以使用弱监督学习，本来的模型只知道图片的分类，但是利用Global Average pooling所得结果乘以种类权重，得到所得种类的位置，图中是狗的位置
辅助分类输出的作用：
5.3 Inception V2 用两个33的卷积代替一个55的卷积，用两个13和31的卷积代替一个3*3的卷积
（6）ResNet （2015）
6.1引入了残差模块（residual block）
6.2 不同的模型的性能比对
（7） 模型集成（2016）
模型的集成真的很有用
自适应学习每张特征图channel的权重，先global average pooling 压缩，再经过两层全连接层，学习权重，再和原来的特征图相乘。这个部分可以放在任何模型的后面
2017年，imageNet主办方认为没有必要再进行线下的比赛，就把比赛迁移到kaggle线上
（8）squeezeNet （2017）
和AlexNet 比起来，参数少了50x，模型大小小于0.5 Mb，精度却和AlexNet一样
（9）总结
（10）一些经典论文
10.1
1*1卷积就相当于全连接层，可以实现升维和降维
global average pooling可以避免全连接层参数爆炸
是googlenet和resnet 的前身
10.2
10.3
10.4
10.4
10.5
10.7
学习热点：边缘学习，元学习（神经架构探索）
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
