0. Tips

图像卷积中的维度是指通道数。

过拟合问题：训练集误差低，但验证集误差高。退化问题：随着网络深度的增加，训练集和验证集误差都越来越高。

出现退化现象的原因：存在一个合理的猜测，对于神经网络来说，通过非线性层来拟合恒等映射并不容易，会出现退化现象。

也就是说，尽管网络层次加深，但是高层网络无法完全保留低层网络的信息，当低层将特征传向高层时会发生改变。如果低层已经得到了最佳特征，但是经过非线性映射后传到高层反而会使得训练出来的网络偏离最佳效果。

  • Top-1 Error：假设模型预测某个对象的类别，模型输出1个预测结果，那么这一个结果能判断正确的概率就是Top-1正确率。判断错误的概率就是Top-1错误率。简言之就是模型判错的概率。Top-5 Error ：假设模型预测某个对象的类别，模型输出5个预测结果，只要其中一个能判断正确类别，这个概率就是Top-5正确率，反之，预测输出的五个结果都错误的概率就是Top-5错误率。一般来说，Top-1 Error和Top-5 Error越低，模型的性能也就越好。且Top-5 Error 往往小于Top-1 Error。
  • 残差网络中的”残差“并非数理统计中的”观察值与预测值的差值“，而是”（部分）网络的输入特征（即低层特征）与理想的输出特征（即高层特征）之间的‘差值’“。

说明几点：

  1. 上面所说的”（部分）网络“可以理解为，在一般的卷积网络中，我们总是对低层的特征进行卷积从而得到高层特征，对于高层特征与低层特征的“差值”就是ResNet中所谓的“残差”。另外，这里所说的“差值”是一种抽象的概念，按照论文中的讲解，可以把“差值”理解为对应通道的每个像素之差。
  2. 论文作者认为“理想的高层特征由训练完成的残差与低层特征相加得到”，所以只需要对残差进行训练，而低层特征直接传递到高层与训练完成的残差进行相加即可。
  • 训练残差函数相对于一般网络直接训练的特征函数的优势：在ResNet中残差的思想就是去掉相同的主体部分，从而突出微小的变化，让模型集中注意去学习一些这些微小的变化部分。

通过这篇博客理解一下残差：REF

  • identity mapping、shortcut connection、skip connection都是一个含义，理解为跨层连接。

1. 残差网络的数学原理

resnet刷榜 resnet top1_resnet刷榜

残差单元可以表示为：resnet刷榜 resnet top1_深度学习_02 其中，resnet刷榜 resnet top1_opencv_03 和 resnet刷榜 resnet top1_深度学习_04 分别表示第 resnet刷榜 resnet top1_神经网络_05 个残差单元的输入和输出，注意每个残差单元一般包含多层结构；resnet刷榜 resnet top1_深度学习_06 是残差函数，通过训练学习到的残差；resnet刷榜 resnet top1_resnet刷榜_07 表示跨层连接的方式，（假设输入/输出维度相同）可以选择恒等映射，此时 resnet刷榜 resnet top1_人工智能_08，还可以选择投影映射，即对应论文中的公式Eqn.(2)，那么 resnet刷榜 resnet top1_resnet刷榜_09；resnet刷榜 resnet top1_opencv_10

假设不考虑升维或者降维的情况，那么残差块可以表示为：（注意使用的是ReLU函数，故可以将两个式子合并）resnet刷榜 resnet top1_人工智能_11 对于一个更深的层 resnet刷榜 resnet top1_神经网络_12，其与 resnet刷榜 resnet top1_神经网络_05 层的关系可以表示为：resnet刷榜 resnet top1_opencv_14 从反向传播的角度来看，假设损失函数为 resnet刷榜 resnet top1_opencv_15，则：resnet刷榜 resnet top1_深度学习_16 式子的第一个因子 resnet刷榜 resnet top1_神经网络_17 表示的损失函数到达 resnet刷榜 resnet top1_神经网络_12 层的梯度，小括号中的 resnet刷榜 resnet top1_深度学习_19 表明短路机制可以无损地传播梯度，而另外一项残差梯度则需要经过带有resnet刷榜 resnet top1_深度学习_20 的层，梯度不是直接传递过来的。残差梯度不会那么巧全为 resnet刷榜 resnet top1_深度学习_21，而且就算其比较小，有 resnet刷榜 resnet top1_深度学习_19

REF

2. 残差网络的优点

也即残差网络解决的问题：相比于普通深度神经网络，随着网络深度的增加，残差网络容易优化，且不会出现比加深网络前更高的训练误差。因此残差网络可以设计地非常深。

并非可以无限加深网络。经论文作者测试，当网络很深时，虽然训练集和验证集正确率不会降低，但是测试集的正确率会出现降低，猜测是出现了过拟合。

梯度消失/爆炸已经可以通过BN和网络初始化等方法结果；退化问题通过ResNet解决。

3. resnet刷榜 resnet top1_人工智能_23

其实 resnet刷榜 resnet top1_人工智能_23

resnet刷榜 resnet top1_resnet刷榜_25

对于图像卷积而言，一个 resnet刷榜 resnet top1_人工智能_23 卷积核并非只包含一个参数，其参数量等于通道数。经过一个卷积核的卷积操作将得到一幅特征图（一个通道），所以规定有多少个卷积核就会得到多少幅特征图（通道数）。 resnet刷榜 resnet top1_人工智能_23

REF

4. 两种跨层连接（identity mapping）处理维度不匹配的方式

残差块的输入特征维度与输出特征维度不同时无法直接进行通道加法，所以论文作者提出了下面的两种方式：

option A：添加全零的特征图以扩充深度，也可以视为添加全零padding，只不过这里的padding的维度是深度这一维度。

option B：采用投影映射的方式，即 resnet刷榜 resnet top1_resnet刷榜_28，简而言之就是通过 resnet刷榜 resnet top1_神经网络_29 对输入特征进行 resnet刷榜 resnet top1_人工智能_23

5. ResNet中跨层连接（identity mapping）的设计

论文作者采用了输入输出维度不同使用投影映射（option B），维度匹配使用直接传递的方式，该方法性价比最高。

另外的两种方式：

  1. 维度不同使用全零padding（option A），维度匹配使用直接传递的方式，该方式效果不如上面的方式好；
  2. 不考虑维度是否匹配，所有的跨层连接均采用投影映射（option B），该方式效果与上面的方式差不多，但是参数个数要比上面多。

6. resnet刷榜 resnet top1_opencv_31

6.1. 在残差网络中的作用

resnet刷榜 resnet top1_人工智能_32

下图是ResNet50的网络框架， resnet刷榜 resnet top1_opencv_31 主要用在深层ResNet网络框架的每个大模块（虚线框内）中，多个 resnet刷榜 resnet top1_opencv_31 组成了一个大模块。通过下图可以看出，因为输入通道数和输出通道数不同，每个大模块的第一个残差块都会进行升维卷积（即跨层连接对于维度变化的情况采用了论文中的optionB）；而其他残差块，由于输入通道数与输出通道数相同，所以采用直接将底层特征传递给高层的方式进行跨层连接（即论文中的optionA）。resnet刷榜 resnet top1_opencv_31 中的第一个 resnet刷榜 resnet top1_人工智能_23 卷积层是进行降维操作，第二个 resnet刷榜 resnet top1_人工智能_23

resnet刷榜 resnet top1_人工智能_38

6.2. 需要更少的参数

当维度比较高的时候，采用 resnet刷榜 resnet top1_人工智能_39 比采用 resnet刷榜 resnet top1_神经网络_40

情况1（ resnet刷榜 resnet top1_resnet刷榜_41 的输入维度和输出维度相同，假设均为 resnet刷榜 resnet top1_深度学习_42，即跨层连接为直连）： 采用 resnet刷榜 resnet top1_人工智能_39 的参数个数：resnet刷榜 resnet top1_神经网络_44（注意不要忘记图像卷积的卷积核是三维的，前两维为尺寸，最后一维为通道数，与被卷积的图像通道数相同） 采用 resnet刷榜 resnet top1_神经网络_40 的参数个数： 相当于两个卷积层，每一层有 resnet刷榜 resnet top1_深度学习_42 个 resnet刷榜 resnet top1_人工智能_47 的卷积核，故 resnet刷榜 resnet top1_opencv_48，差了 resnet刷榜 resnet top1_resnet刷榜_49

情况2（ resnet刷榜 resnet top1_resnet刷榜_41 的输入维度和输出维度不同，假设输入为 resnet刷榜 resnet top1_深度学习_42，输出为 resnet刷榜 resnet top1_神经网络_52，即跨层连接为映射，resnet刷榜 resnet top1_人工智能_23 的卷积操作降维至 resnet刷榜 resnet top1_人工智能_54）： 采用 resnet刷榜 resnet top1_人工智能_39 的参数个数：resnet刷榜 resnet top1_resnet刷榜_56 其中最后一个加法项表示的是跨层连接涉及的参数个数。 采用 resnet刷榜 resnet top1_神经网络_40 的参数个数：resnet刷榜 resnet top1_resnet刷榜_58，差了 resnet刷榜 resnet top1_人工智能_59 倍。 其中最后一个加法项表示的是跨层连接涉及的参数个数。

可见，无论残差块输入输出是否发生维度的变化，resnet刷榜 resnet top1_人工智能_39 的参数量都比 resnet刷榜 resnet top1_神经网络_40 的参数量少；而且如果输入输出的维度越大，resnet刷榜 resnet top1_人工智能_39 的效果越明显（两种残差块涉及参数个数的差值）。因此，resnet刷榜 resnet top1_人工智能_39

情况2（ resnet刷榜 resnet top1_神经网络_64 的输入维度和输出维度不同，假设输入为 resnet刷榜 resnet top1_人工智能_65，输出为 resnet刷榜 resnet top1_深度学习_66，即跨层连接为映射，resnet刷榜 resnet top1_人工智能_67 的卷积操作）： 采用 resnet刷榜 resnet top1_深度学习_68 的参数个数：resnet刷榜 resnet top1_resnet刷榜_69 其中最后一个加法项表示的是跨层连接涉及的参数个数。 采用 resnet刷榜 resnet top1_人工智能_70 的参数个数：resnet刷榜 resnet top1_神经网络_71 其中最后一个加法项表示的是跨层连接涉及的参数个数。

对于情况2，我举的这个例子不是很合理，因为输入为 resnet刷榜 resnet top1_人工智能_65 输出为 resnet刷榜 resnet top1_深度学习_66，我们用 resnet刷榜 resnet top1_人工智能_67 卷积降维，实际上还是化为了 resnet刷榜 resnet top1_人工智能_65 维，所以相当于没降维，参数完全多余了。尽管如此，采用 resnet刷榜 resnet top1_深度学习_68 使用的参数量仍然小于采用 resnet刷榜 resnet top1_人工智能_70，可见，resnet刷榜 resnet top1_深度学习_68