欢迎来到《每周CV论文》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
图像超分辨是一个非常实际应用价值的方向,今天给大家推荐初学该领域必须要读的文章。
作者&编辑 | 言有三
1 SRCNN
SRCNN方法[1]是将深度学习用于图像超分辨领域中最早期的尝试,它是一个前上采样结构,可以看作是经典的稀疏编码用深度学习模型进行实现。
文章引用量:2700+
推荐指数:✦✦✦✦✦
[1] Dong C, Loy C C, He K, et al. Image super-resolution using deep convolutional networks[J]. IEEE transactions on pattern analysis and machine intelligence, 2015, 38(2): 295-307.
2 ESPCN
SRCNN等前上采样框架中首先使用反卷积来完成上采样,这是一种很自然的操作,但是它计算复杂度较大,Twitter图片与视频压缩研究组则采用了与反卷积完全不同的上采样思路,提出了ESPCN模型[2],其中核心思想是亚像素卷积(sub-pixel convolution),这是一种后上采样框架。
文章引用量:1200+
推荐指数:✦✦✦✦✦
[2] Shi W, Caballero J, Huszar F, et al. Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network[C]. computer vision and pattern recognition, 2016: 1874-1883.
3 Perceptual loss
早期的基于CNN模型的超分辩框架如SRCNN,ESPCN都使用图像像素空间的欧式距离作为优化目标,结果能取得较高的PSNR和SSIM指标,但是存在结果过于平滑的问题,后来的研究者将SRCNN模型的像素损失改为感知损失后,显著提高了视觉效果。
文章引用量:2000+
推荐指数:✦✦✦✦✦
[3] Johnson J, Alahi A, Fei-Fei L. Perceptual losses for real-time style transfer and super-resolution[C]//European conference on computer vision. Springer, Cham, 2016: 694-711.
4 SRGAN
随着生成对抗网络GAN的发展,生成器和判别器的对抗学习机制在图像生成任务中展现出很强大的学习能力。Twitter的研究者们使用ResNet作为生成器结构,使用 VGG作为判别器结构,提出了SRGAN[4]模型。
文章引用量:1400+
推荐指数:✦✦✦✦✦
[4] Ledig C, Theis L, Huszár F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4681-4690.
5 无监督模型
由于大部分模型都是基于成对的低分辨率和高分辨率图进行训练,研究者常通过固定的图像算法对高分辨率图进行采样获得低分辨率图,这与真实的图像蜕化过程并不一致,真实的图像蜕化往往包括各类模糊和噪声,缺陷等。因此,如何摆脱仿真数据集进行训练,产生真实的训练数据对模型泛化到真实场景非常重要,其中基于GAN的无监督模型大有可为。
文章引用量:70+
推荐指数:✦✦✦✦✧
[5] Bulat A, Yang J, Tzimiropoulos G. To learn image super-resolution, use a gan to learn how to do image degradation first[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 185-200.
6 应用
图像超分辨可以用于老照片和视频的修复,同时也可以用于辅助目标检测等任务中提升目标的可辨识度,其中在人脸领域是最为成熟的应用方向[6-7],值得关注。
[6] Chen Y, Tai Y, Liu X, et al. FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors[C]. computer vision and pattern recognition, 2018: 2492-2501.
[7] Menon S, Damian A, Hu S, et al. PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models[J]. arXiv: Computer Vision and Pattern Recognition, 2020.
7 文章解读
关于图像超分辨以及相关文章的详细解读,在有三AI知识星球-网络结构1000变-图像增强以及GAN下有较多的文章,感兴趣可以移步。
总结
本次我们介绍了初学图像超分辨领域值得读的文章,当前研究重点在于无监督模型,复杂退化类型图像的超分辨等方向,读者可以继续关注。