SRCNN

  • 算法流程
  • 训练
  • 测试
  • 实验结果
  • 参考博客


超分辨率技术（Super-Resolution）是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。SR可分为两类:从多张低分辨率图像重建出高分辨率图像和从单张低分辨率图像重建出高分辨率图像。基于深度学习的SR，主要是基于单张低分辨率的重建方法，即Single Image Super-Resolution (SISR)。

SISR是一个逆问题，对于一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应，因此通常在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统的方法中，这个先验信息可以通过若干成对出现的低-高分辨率图像的实例中学到。而基于深度学习的SR通过神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。

算法流程

Super-Resolution Convolutional Neural Network （SRCNN, PAMI 2016, 代码)是较早地提出的做SR的卷积神经网络。该网络结构十分简单，仅仅用了三个卷积层。

深度学习超分去除图像锯齿 图像超分辨_卷积核


该方法对于一个低分辨率图像，先使用双三次（bicubic）插值将其放大到目标大小，再通过三层卷积网络做非线性映射，得到的结果作为高分辨率图像输出。作者将三层卷积的结构解释成与传统SR方法对应的三个步骤：特征提取，特征非线性映射和最终的重建。

  1. 先将低分辨率图像使用双三次差值放大至目标尺寸（如放大至2倍、3倍、4倍），此时仍然称放大至目标尺寸后的图像为低分辨率图像(Low-resolution image)，即图中的输入(input)；
  2. 将低分辨率图像输入三层卷积神经网络，（举例：在论文中的其中一实验相关设置，对YCrCb颜色空间中的Y通道进行重建，网络形式为(conv1+relu1)—(conv2+relu2)—(conv3)）第一层卷积：卷积核尺寸9×9(f1×f1)，卷积核数目64(n1)，输出64张特征图；第二层卷积：卷积核尺寸1×1(f2×f2)，卷积核数目32(n2)，输出32张特征图；第三层卷积：卷积核尺寸5×5(f3×f3)，卷积核数目1(n3)，输出1张特征图即为最终重建高分辨率图像。

训练

  1. 训练数据集：论文中某一实验采用91张自然图像作为训练数据集，对训练集中的图像先使用双三次差值缩小到低分辨率尺寸，再将其放大到目标放大尺寸，最后从上到下，从左到右切割成诸多33×33图像块作为训练数据，作为标签数据的则为高分辨率图像中33×33图像块的图像中心的21×21图像块（与卷积层细节设置相关）；
  2. 损失函数：采用MSE函数作为卷积神经网络损失函数；
  3. 卷积层细节设置：第一层卷积核9×9，得到特征图尺寸为(33-9)/1+1=25，第二层卷积核1×1，得到特征图尺寸不变，第三层卷积核5×5，得到特征图尺寸为(25-5)/1+1=21。训练时得到的尺寸为21×21，因此使用高分辨率图像的33×33图像块的图像中心的21×21图像块作为标签数据（卷积训练时不进行padding）。

测试

  1. 全卷积网络：所用网络为全卷积网络，因此作为实际测试时，直接输入完整图像即可；
  2. Padding：训练时得到的实际上是除去四周(33-21)/2=6像素外的图像，若直接采用训练时的设置（无padding），得到的图像最后会减少四周各6像素（如插值放大后输入512×512，输出500×500）。因此在测试时每一层卷积都进行了padding（卷积核尺寸为1×1的不需要进行padding）。这样保证插值放大后输入与输出尺寸的一致性。

（使用Tensorflow进行复现时，图像预处理时将像素点取值归一化至[0,1]，测试时，得到的最后一层特征图即重建结果直接乘以255再使用uint8转换时为0-255取值时会出现一些问题，如左下图中方框所示，因此在乘以255前，将负值设置为0，大于255的设置为255，再使用uint转换即可解决）

深度学习超分去除图像锯齿 图像超分辨_深度学习_02

实验结果

客观评价指标PSNR与SSIM：相比其他传统方法，SRCNN取得更好的重建效果。

深度学习超分去除图像锯齿 图像超分辨_卷积核_03


深度学习超分去除图像锯齿 图像超分辨_深度学习_04

参考博客

图像超分辨率重建之SRCNN深度学习在图像超分辨率重建中的应用