深度学习之NIN 网络结构
一、简介
NIN(NetWork In NetWork) 是出自新加坡国立大写2014年的论文"Network In Network",NIN 改进了传统的CNN，采用了少量参数就取得了超过AlexNet的性能，AlexNet网络参数大小是230M，NIN只需要29M，此模型后来先后被Inception与ResNet 等所借鉴。
二、网络结构
此网络结构总计4层： 3mlpconv + 1global_average_pooling
由上图看出，左图为简单的卷积层网络，右图为mlpconv（卷积层 + 1x1 卷积 + ReLu函数组成）
优点：
- 提供了网络层间映射的一种新可能；
- 增加了网络卷积层的非线性能力。
最后改为全局池化层，含义为1张特征图转化为1个类别进行输出，如第一张图最后有1000个特征图,最后通过softmax对应1000个不同的类别输出。
三、两个重要特性
特性一 1*1 卷积核
作用：
加强了特征的重新组合；
降低了维度，减少计算量。
如 5x5x126 , 通过1x1x90 的卷积操作后，得到90个特征图，此为下次卷积减少乘积，也就减少了计算量
以GoogLeNet的3a模块为例，输入的feature map是28×28×192，3a模块中1×1卷积通道为64，3×3卷积通道为128,5×5卷积通道为32，如果是左图结构，那么卷积核参数为1×1×192×64+3×3×192×128+5×5×192×32，而右图对3×3和5×5卷积层前分别加入了通道数为96和16的1×1卷积层，这样卷积核参数就变成了1×1×192×64+（1×1×192×96+3×3×96×128）+（1×1×192×16+5×5×16×32），参数大约减少到原来的三分之一。
特性二 全局池化层 （如上图）
大大的减少了模型的参数，由于该连接方式没有参数，从而没有计算，大大减少了计算量，提高了计算速度。
有效避免过拟合。
可解释性非常强，可以讲最终的feature map看作最终分类目标的confidence map。
四、总结
- NIN网络是inception的前身，提供了减少训练数量的思想，提高了运算的速度。
- 有效避免了过拟合。
