densenet算法图像分类

转载

小屁孩 2024-07-13 10:14:42

文章标签 densenet算法图像分类 densenet网络结构卷积 github 池化 文章分类 计算机视觉人工智能

论文链接：https://arxiv.org/pdf/1608.06993.pdf

PyTorch代码：https://github.com/bamos/densenet.pytorch/blob/master/densenet.py

本来想研究下轻量级网络PeleeNet，但由于PeleeNet是由DenseNet变化而来，因此就先研究了下DenseNet。

参考链接：https://zhuanlan.zhihu.com/p/37189203

我们知道，ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”(shortcuts，skip connection)，从而使得有助于训练过程中梯度的反向传播，以便训练出更深的CNN网络。而DenseNet其实相对于ResNet而言，也是采用了“短路连接”的方法，同时增加了特征复用的通道。如图1所示，图1描述的是组成DenseNet的基本单元Dense Block，一共由5个dense layer组成，在每个dense layer中都是只生成4个通道的feature maps，也就是growth rate = 4。通过图1 可以看出，使用特征复用的方式，可以减小模型的参数量，因为每一层只需要生成4个新的特征层，参数量大小和growth rate的大小有关。这就是DenseNet网络中最大的创新之处。

densenet算法图像分类_池化

图1 Dense Block

在Dense Block中，第l层接受的输入是前面所有层的输出。

densenet算法图像分类_densenet网络结构_02

一、网络结构

densenet算法图像分类_github_03

表1 DenseNet网络结构

其中，DenseNet用于ImageNet分类的网络结构如表1所示，其中“conv”代表的是“BN+ReLU+Conv”操作，网络的growth rate=32。网络构建代码如下：

densenet算法图像分类_卷积_04

densenet算法图像分类_卷积_05

通过表1和源代码可以看出，DenseNet由Convolution卷积层、Pooling池化层、Dense Block、Transition层以及Classification分类层组成。接下来以DenseNet-121为例进行讲解，对各部分进行讲解。

二、各模块组成

1. Convolution卷积层和Pooling池化层

步长均为2，主要是为了快速缩小输入图片的大小，对应代码中的self.conv1。

2. Dense Block

这一部分是论文的核心，也就是图1所示的结构，只不过图1中的DenseBlock只有4层(第一个是Input，第二层才开始算是Dense Block)。

在表1所示结构中，共有4个Dense Block，每个Dense Block分别包括6、12、24、16个Dense layer。每个dense layer采用的是Bottleneck的形式，由BN+ReLU+1x1Conv+BN+ReLU+3x3Conv组成，这里大家要注意一下，使用的是BN+ReLU+Conv的方式，而不是Conv+ReLU+BN。

但在第一个1x1 Conv中，输入通道数量为那么第l层输入的channel数为k0 + growth rate * (l-1)，输出的通道数量为4*growth rate，k0表示在当前dense block中输入通道的数量，此处将输出通道数扩展为4倍，主要是为了减小模型的大小而设置，因为在较深的卷积层中，特征层数较多中间层输出特征数量小，可以减小模型大小，但是对于浅层特征来说，采用固定的中间层输出数量，可能会增加模型的大小，这一缺陷在PeleeNet中作者也提到了；

而在3x3 Conv的卷积中，输入通道数量为4*growth rate，输出通道数量为growth rate；然后再降当前dense layer中输入通道的数量与输出通道数量相加，即进行concat操作，即可得出下一dense layer的输入，即k0 + growth rate * l。对应代码的位置是self._make_dense函数，每执行一次，生成一个denseblock，共执行4次。

densenet算法图像分类_卷积_06