图像去噪重要文献整理(一)
根据之前的ppt,整理一下图像去噪相关的重要文献和方法,包括传统方法和深度学习方法。
由于空域和变换域滤波是比较基本的图像处理方法,所以在此不进行讨论。我们从传统方法的第二个,也就是基于图像的自相似性的方法开始进行整理:
A non-local algorithm for image denoising (2005)
Antoni Buades et .al.
这个是NL - means的文章,首先,作者对图像去噪算法做了一个概括,说他们的出发点都是这个basic remark : denoising is achieved by averaging. 而这个average具体的操作可以有不同,可以是locally的,可以是anisotropic filtering,可以是neighborhood filtering,或者是对variation的计算,就是Total Variation minimization,还有在频域的empirical Wiener filtering,以及小波阈值的方法。
总结完之后,作者提到,对于传统的方法,往往在去噪的同时损伤了有效信号的fine details,所以它给出了一个叫做【算法噪声】 的评判指标,实际上就是把去噪后的结果与真实答案进行比对。以前可能比较强调PSNR,没有注意到是不是可以保护细节。另外,这个评价指标实际上也是为了说明NL-means的优于别人的特性。
NL-means的基本的公式和解释如下:实际上就是找像素点附近的小patch相似的点给它赋予较大的权重,进行平均。
下面计算了一些常规去噪方法的method noise,主要有Gaussian filtering,anisotropic filtering,TV minimization,neighborhood filtering,这里的neighborhood同时还包括值域的neighborhood,也就是用和某个像素点的邻域中值很接近的像素点来计算,比如SUSAN filter和双边filter。(We call neighborhood filter any filter which restores a pixel by taking an average of the values of neighboring pixels with a similar grey level value.)
NL-means就是利用了图像的自相似性,理论上对每个点都进行加权,权重就是patch相似度,也就是2范数的一个减函数,基本公式如下:
然后这是一些栗子,可以看出可以很好的找到相似的pixel。
在实现过程中,由于速度慢,所以并不是对所有的都加权,需要设定一个search window,作者实验用的是21×21,而patch用的是7×7,而且,为了适应更大的噪声,h可以增大。7×7足够大到可以对于噪声鲁棒,也足够小可以提取fine structure,因此最后method noise对比很感人。
Super-Resolution from a Single Image (2009, ICCV)
Daniel Glasner et. al.
这个不是图像去噪,而是超分辨率,之所以浏览一下是因为这个的基本思想也是基于自然图像中的patch recurrence,而且它的测试用例也都是这样的图像。这个recurrence指的是 across scales的。
example-based SR 指的是通过学习database中的高低分辨率的对应关系然后应用于low resolution去提高分辨率。但是这样的SR方法可能无法保证提供的就是真实的高分辨率的细节。
In the classical SR, this high-frequency information is assumed to be split across multiple low-resolution images, implic-
itly found there in aliased form. In example-based SR, this missing high-resolution information is assumed to be available in the high-resolution database patches, and learned from the low-res/high-res pairs of examples in the database.
Our approach is based on an observation (justified statistically in the paper) that patches in a single natural image tend to redundantly recur many times inside the image, both within the same scale, as well as across different scales.
作者提到了NL-MEANS也是基于patch repetition的想法做的去噪,这种自相似性是解决反问题的一个正则化的先验知识。并且提到了一些其他的SR方法也利用了这一点。
本文中的Single Image SR 是一个unified framework,就是classic和example-based的结合。
对于不同scale得到的similar patch,直接copy。效果展示用了一个尺度间重复很严重的图,所以效果很明显。
在这个unified 框架中,example-based SR起到的作用比较大,对分辨率提升性能贡献较大,但是classical的作用是可以防止出现假的细节preventing the Example-Based SR component from hallucinating erroneous high-res details。
由于这个不是去噪的文献,所以只做一下了解。
2018年03月17日15:56:02
人的一生有两件事情不可避免:一是死亡;二是税收。 —— 政治家 本杰明 富兰克林