ResNet网络是在2015年由微软实验室提出,斩获当年ImageNet竞赛中分类任务第一名,目标检测第一名。获得COCO数据集中目标检测第一名,图像分割第一名。下图是ResNet34层模型的结构简图。
在ResNet网络中有如下几个亮点:
- (1) 提出residual结构(残差结构),并搭建超深的网络结构(突破1000层)
- (2) 使用Batch Normalization加速训练(丢弃dropout)
在ResNet网络提出之前,传统的卷积神经网络都是通过将一系列卷积层与下采样层(池化层)进行堆叠得到的。但是当堆叠到一定网络深度时,就会出现两个问题。
- (1) 梯度消失或梯度爆炸
- (2) 退化问题(degradation problem)
在ResNet论文中说通过数据的预处理以及在网络中使用BN(Batch Normalization)层能够解决梯度消失或者梯度爆炸问题。但是对于退化问题(随着网络层数的加深,效果还会变差,如下图所示)并没有很好的解决办法。
所以ResNet论文提出了residual结构(残差结构)来减轻(解决)退化问题。下图是使用residual结构的卷积网络,可以看到随着网络的不断加深,效果并没有变差,反而变的更好了。
接下来,我们就来分析下论文中的残差结构(residual),下图是论文中给出的两种残差结构。
左边的残差结构是针对层数较少网络,例如ResNet18层和ResNet34层网络。
右边的残差结构是针对网络层数较多的网络,例如ResNet101,ResNet152等。
为什么深层网络要使用右边的残差结构呢。因为,右侧的残差结构能够减少网络参数与运算量。同样输入一个channel为256的特征矩阵,如果使用左侧的残差结构需要大约1170648个参数,但如果使用右侧的残差结构只需要69632个参数。明显搭建深层网络时,使用右侧的残差结构更合适。
左边的残差结构剖解:
"""
resnet18,resnet34用的残差模块
"""
class BasicBlock(nn.Module):
expansion = 1
def __init__(self, in_channel, out_channel, stride=1, downsample=None, **kwargs):
super(BasicBlock, self).__init__()
# 第1层,conv+bn+relu
self.conv1 = nn.Conv2d(in_channels=in_channel, out_channels=out_channel, kernel_size=3, stride=stride, padding=1, bias=False) # 3*3卷积
self.bn1 = nn.BatchNorm2d(out_channel)
self.relu = nn.ReLU()
# 第2层,conv+bn
self.conv2 = nn.Conv2d(in_channels=out_channel, out_channels=out_channel, kernel_size=3, stride=1, padding=1, bias=False) # 3*3卷积
self.bn2 = nn.BatchNorm2d(out_channel)
# None,实线残差; not None,虚线残差;
self.downsample = downsample
def forward(self, x):
identity = x
# 若downsample的值不为None,进行下采样,虚线残差;否则实线残差
if self.downsample is not None:
identity = self.downsample(x)
# 第1层的正向传播,conv+bn+relu
out = self.conv1(x)
out = self.bn1(out)
out = self.relu(out)
# 第2层的正向传播, conv+bn
out = self.conv2(out)
out = self.bn2(out)
# 进行相加add操作, 然后relu激活
out += identity
out = self.relu(out)
return out
右边的残差结构剖解:
"""
resnet50,resnet101,resnet152,用的残差模块
init()函数是预定义网络架构,forward函数是进行前向传播
"""
class Bottleneck(nn.Module):
"""
注意:原论文中,在虚线残差结构的主分支上,第一个1x1卷积层的步距是2,第二个3x3卷积层步距是1。
但在pytorch官方实现过程中是第一个1x1卷积层的步距是1,第二个3x3卷积层步距是2,
这么做的好处是能够在top1上提升大概0.5%的准确率。
可参考Resnet v1.5 https://ngc.nvidia.com/catalog/model-scripts/nvidia:resnet_50_v1_5_for_pytorch
"""
expansion = 4 # 输出通道数的倍乘
def __init__(self, in_channel, out_channel, stride=1, downsample=None, groups=1, width_per_group=64):
super(Bottleneck, self).__init__()
width = int(out_channel * (width_per_group / 64.)) * groups
# 第1层, conv+bn+relu
self.conv1 = nn.Conv2d(in_channels=in_channel, out_channels=width, kernel_size=1, stride=1, bias=False) # 1*1卷积, squeeze channels
self.bn1 = nn.BatchNorm2d(width)
# 第2层, conv+bn+relu
self.conv2 = nn.Conv2d(in_channels=width, out_channels=width, groups=groups, kernel_size=3, stride=stride, bias=False, padding=1) # 3*3卷积
self.bn2 = nn.BatchNorm2d(width)
# 第3层, conv+bn
self.conv3 = nn.Conv2d(in_channels=width, out_channels=out_channel*self.expansion, kernel_size=1, stride=1, bias=False) # 1*1卷积, unsqueeze channels
self.bn3 = nn.BatchNorm2d(out_channel*self.expansion)
self.relu = nn.ReLU(inplace=True)
self.downsample = downsample
def forward(self, x):
identity = x
if self.downsample is not None:
identity = self.downsample(x)
#第1层的正向传播: conv+bn+relu
out = self.conv1(x)
out = self.bn1(out)
out = self.relu(out)
#第2层的正向传播: conv+bn+relu
out = self.conv2(out)
out = self.bn2(out)
out = self.relu(out)
#第3层的正向传播: conv+bn
out = self.conv3(out)
out = self.bn3(out)
out += identity
out = self.relu(out)
return out