图像去噪是计算机视觉领域的传统方向,对于可见光图像、视频、核磁图像等的处理仍应用广泛,在工业和学术界引起很多人的关注,基于BM3D(block-matching 3D ,2007)框架的系列算法是该领域的著名方法,其结合图像非局部相似的属性和变换域的稀疏表示,在深度学习用于CV各领域的今天仍有用武之地。

 

今天新出的论文『A Comprehensive Comparison of Multi-Dimensional Image Denoising Methods』,对传统的图像去噪方法和深度学习方法进行了综述和比较,考察了191篇文献,相信对研究该方向的朋友定有帮助。

 

该文作者信息:

综述 | 图像去噪方法比较_计算机视觉

 

 

 

  • 论文链接:https://arxiv.org/abs/2011.03462

  • 代码链接:https://github.com/ZhaomingKong/Denoising-Comparison

 

图像去噪旨在给定噪声图像恢复原图像,单在噪声模型难以估计的情况下,利用图像的 NLSS(非局部自相似) 属性成为方法的主流。亦即自然图像内部含有相似的图像块,利用此特点恢复源图像,NLSS先验与补丁表征示例:

综述 | 图像去噪方法比较_图像去噪_02

 

传统图像去噪方法(成功的BM3D框架的众多方法)流程:

综述 | 图像去噪方法比较_计算机视觉_03

 

即噪声图像经过Grouping、Collaborative filtering、Aggregation,得到结果图像。

 

传统的多维图像数据的去噪器:

 

综述 | 图像去噪方法比较_计算机视觉_04

 

基于DNN去噪方法及应用:

 

综述 | 图像去噪方法比较_图像去噪_05

 

具有三个卷积层的简单CNN去噪框架图解:

 

综述 | 图像去噪方法比较_计算机视觉_06

 

 

该文详尽总结了用于评测结果的人工合成和真实世界的多维图像去噪数据集(具体出处和下载方式请参考原论文):

 

综述 | 图像去噪方法比较_图像去噪_07

 

具有代表性的多维图像去噪方法和数据集的发展史:

 

综述 | 图像去噪方法比较_计算机视觉_08

 

部分数据集的示例图像:

 

综述 | 图像去噪方法比较_图像去噪_09

 

另外为评估算法,作者还推出了自己收集的IOCI数据集:

综述 | 图像去噪方法比较_计算机视觉_10

 

传统方法和基于DNN的方法在几个真实彩色图像数据集上的结果,以 PSNR 和 SSIM 为评价指标:(请点击查看大图)

 

综述 | 图像去噪方法比较_计算机视觉_11

综述 | 图像去噪方法比较_图像去噪_12

 

多个方法在真实彩色视频数据集上的评比详细结果:

 

综述 | 图像去噪方法比较_图像去噪_13

 

另外,对于图像去噪PSNR 和 SSIM 并不能完美反应图像质量,作者还做了大量的视觉效果评估:

 

1)CC15 数据集(PSNR)  (图8)

 

综述 | 图像去噪方法比较_图像去噪_14

 

2)PolyU 数据集(PSNR)  (图9)

 

综述 | 图像去噪方法比较_计算机视觉_15

 

3)IOCI’s IPHONE 5S 数据集(PSNR) (图10)

 

综述 | 图像去噪方法比较_计算机视觉_16

 

4)IOCV 数据集(彩色视频去噪)(图11)

 

综述 | 图像去噪方法比较_图像去噪_17

 

同样,作者使用用户调查打分的方式,得到了人为评分结果:

 

综述 | 图像去噪方法比较_计算机视觉_18

 

FastDVDNet算法在计算量较低的前提下,效果表现也一致的好。

 

在 CAVE 数据集上的高噪声水平σ=100时,对基于张量的去噪器的比较结果:(图12)

 

综述 | 图像去噪方法比较_图像去噪_19

 

CAVE 数据集上,高斯噪声 σ = {10, 30, 50, 100}时的质量和计算时间(分钟)对比结果:(表7)

 

综述 | 图像去噪方法比较_计算机视觉_20

 

高斯噪声下 MSt-SVD 和 QRNN3D 的平均PSNR/SSIM 值和计算时间(分钟)σ∈{10,20}(表8)

 

综述 | 图像去噪方法比较_图像去噪_21

 

在真实世界 HHD 数据集上,MSI 去噪方法比较结果:(图13)

 

综述 | 图像去噪方法比较_图像去噪_22

 

σ≥11%时高噪声水平下的去噪性能比较:(图14)

 

综述 | 图像去噪方法比较_图像去噪_23

 

T1w、T2w和PDw数据被Rician噪声破坏的情况下,不同方法的平均PSNR/SSIM 值 和 计算时间(s)(表9)

 

综述 | 图像去噪方法比较_图像去噪_24

 

在估计噪声水平σ = 19% 的合成Brainweb T1w 数据上对比较方法进行可视化评估(图15)

 

综述 | 图像去噪方法比较_图像去噪_25

综述 | 图像去噪方法比较_计算机视觉_26

 

在估计噪声水平σ=3% 的真实OAS1 0112 T1w数据上对比较方法进行可视化评估(图16)

 

综述 | 图像去噪方法比较_图像去噪_27

 

在估计噪声水平σ = 4.5% 的真实 OAS1 0092 T1w数据上对比较方法进行可视化评估(图17)

 

综述 | 图像去噪方法比较_计算机视觉_28

 

CBM3D1 在 σ∈[10,30]时五个数据集上的 PSNR 和 SSIM 值对比(图18)

 

综述 | 图像去噪方法比较_计算机视觉_29

 

PSNR 和 SSIM 6种不同实现的(图19)

 

综述 | 图像去噪方法比较_计算机视觉_30

 

使用和不使用图像大小调整策略的 CMSt-SVD 方法的视觉效果对比:(图20)

 

综述 | 图像去噪方法比较_计算机视觉_31

 

当一组中的所有补丁都相同时,T-HOSVD 应用于无噪声图像时的过度平滑效果图(图21)

 

综述 | 图像去噪方法比较_图像去噪_32

 

最终,作者总结发现:

1)BM3D系算法在性能和效果上均展示出不俗的表现;

2)对于仅从噪声观察中学习的传统降噪器,改进的奇异值分解(M-SVD)方法能够与许多基于张量的方法产生相似的结果;

3)基于DNN的方法虽然在合成数据集上训练(因为所需标签数据在实际场景中是不存在的,只能采用合成噪声图像的方法),但在实际测试中仍表现出强大的泛化能力。

 

 

综述 | 图像去噪方法比较_计算机视觉_33