论文题目： ROBUST INTERNAL EXEMPLAR-BASED IMAGE ENHANCEMENT

1 摘要

图像增强的目的是修改图像，以实现更好的人类视觉系统感知或更合适的表示来进一步分析。根据给定输入图像的不同属性，任务也会有所不同，如噪声去除、去模糊、分辨率增强、缺失像素的预测等。后两种方法通常被称为图像超分辨率和图像补全。存在着低质量输入图像分辨率不足、区域缺失的复杂情况。在本文中，我们提出了一种新的统一框架来同时实现图像的超分辨率和补全。该方法采用了图像水平和梯度水平的内部样本相似性，然后将这两个层次的增强结果输入预定义的代价函数，以恢复最终输出。实验结果表明，我们的方法能够产生清晰的边缘和真实的纹理
在本文中，我们提出了一种新的和直接的图像增强算法，它可以同时执行超分辨率和补全。给定一个输入的LR图像和一个表示缺失区域的掩模(s)，我们在梯度水平和图像水平上都执行增强。输入LR在水平和垂直方向（表示为x和y）的梯度被嵌入。所得到的HR梯度，连同已绘制的LR图像，被输入一个易于优化的成本函数，以重建最终的HR增强图像。所提出的图像增强框架的贡献是四方面的： 1)提出了一种统一的图像增强框架来实现一个具有不可用区域的LR输入图像的超分辨率和补画。2)采用梯度级和图像级增强，保证鲁棒性能。3)利用一个直接的能量函数来合并增强的梯度，同时保持与输入图像的一致性。

2 理论介绍

2.1 带补全的梯度级Upscaling

利用内部跨尺度梯度相似度，同时实现输入LR梯度的超分辨率和补全。根据观察，对于自然图像中的小图像斑块，在图像本身和不同尺度上存在自相似性，我们应该期望梯度斑块具有相似的冗余。

给定一个灰度输入LR图像Retinex图像增强数据集 图像增强模型_计算机视觉、掩模Retinex图像增强数据集 图像增强模型_计算机视觉_02和缩放因子Retinex图像增强数据集 图像增强模型_计算机视觉_03，我们将Retinex图像增强数据集 图像增强模型_计算机视觉在Retinex图像增强数据集 图像增强模型_计算机视觉_05和Retinex图像增强数据集 图像增强模型_计算机视觉_06方向上的梯度表示为Retinex图像增强数据集 图像增强模型_计算机视觉_07和Retinex图像增强数据集 图像增强模型_Retinex图像增强数据集_08。增强的HR梯度用Retinex图像增强数据集 图像增强模型_计算机视觉_09和Retinex图像增强数据集 图像增强模型_计算机视觉_10表示。Retinex图像增强数据集 图像增强模型_计算机视觉_07被分解为一组大小为Retinex图像增强数据集 图像增强模型_人工智能_12的重叠Patches。具有未知像素的补丁首先被升级。在缺失区域的Patches中，以像素Retinex图像增强数据集 图像增强模型_Retinex图像增强数据集_13为中心的Patches Retinex图像增强数据集 图像增强模型_优先级_14的上采样优先级确定如下：

Retinex图像增强数据集 图像增强模型_深度学习_15


其中Retinex图像增强数据集 图像增强模型_优先级_16表示以像素Retinex图像增强数据集 图像增强模型_Retinex图像增强数据集_13为中心的patch，Retinex图像增强数据集 图像增强模型_Retinex图像增强数据集_18表示未掩膜区域，Retinex图像增强数据集 图像增强模型_深度学习_19为归一化因子（灰色图像为255），Retinex图像增强数据集 图像增强模型_Retinex图像增强数据集_20表示与像素Retinex图像增强数据集 图像增强模型_Retinex图像增强数据集_13正面正交的单位向量。如果像素值Retinex图像增强数据集 图像增强模型_人工智能_22未知，则将Retinex图像增强数据集 图像增强模型_计算机视觉_23的初始化设置为Retinex图像增强数据集 图像增强模型_Retinex图像增强数据集_24，否则设置为Retinex图像增强数据集 图像增强模型_人工智能_25。Retinex图像增强数据集 图像增强模型_深度学习_26表示Retinex图像增强数据集 图像增强模型_计算机视觉_07中像素Retinex图像增强数据集 图像增强模型_Retinex图像增强数据集_13处的值。如等式(1)中所示，在一个给定的像素处的优先级被测量为两项的乘积：置信项Retinex图像增强数据集 图像增强模型_Retinex图像增强数据集_29和数据项Retinex图像增强数据集 图像增强模型_人工智能_30。这两项都被归一化到0到1之间。

与[9]中的优先级计算不同，我们在计算最终优先级时，通过将其修改为平方形式，为数据项分配更多的置信度。置信项保持不变。一般来说，置信项度量围绕一个给定像素的可靠信息的量。数据项检测该像素上的等光和同一像素上的轮廓碰撞强度。

在计算出沿掩蔽区域边界的每个像素的优先级后，选择其中心像素处优先级最高的patch作为查询patch Retinex图像增强数据集 图像增强模型_优先级_31进行上采样。然后，我们通过比例因子Retinex图像增强数据集 图像增强模型_计算机视觉_03对Retinex图像增强数据集 图像增强模型_计算机视觉_07进行降采样，得到Retinex图像增强数据集 图像增强模型_优先级_34。一个梯度patch池Retinex图像增强数据集 图像增强模型_深度学习_35由Retinex图像增强数据集 图像增强模型_深度学习_36中的所有patch（大小为Retinex图像增强数据集 图像增强模型_人工智能_12）组成，它们的像素值都是已知的。为了确保更具表现性的表示，Retinex图像增强数据集 图像增强模型_深度学习_35中的所有patch以及查询patch Retinex图像增强数据集 图像增强模型_优先级_31都被标准化为均值和单位方差为零。

给定一个查询patch Retinex图像增强数据集 图像增强模型_优先级_31，它的Retinex图像增强数据集 图像增强模型_优先级_41个最相似的patch会在patch池Retinex图像增强数据集 图像增强模型_深度学习_35中被搜索。两个补丁之间的相似性是用均方误差（MSE）来测量的。在Retinex图像增强数据集 图像增强模型_优先级_34中获得Retinex图像增强数据集 图像增强模型_优先级_41个相似的patch后，提取Retinex图像增强数据集 图像增强模型_计算机视觉_07中相应的“父”patch，并以softmax的方式进行加权组合。然后根据Retinex图像增强数据集 图像增强模型_优先级_31的原始均值和方差对组合后的patch进行重新调整，并“粘贴”到Retinex图像增强数据集 图像增强模型_计算机视觉_09中相应的位置。在更新置信项和数据项后，重复上述过程，直到所有与掩模Retinex图像增强数据集 图像增强模型_计算机视觉_02重叠的patch进行上采样。然后在Retinex图像增强数据集 图像增强模型_计算机视觉_07中的其余patch以类似的方式进行upscaled，而不需要计算patch优先级。Retinex图像增强数据集 图像增强模型_计算机视觉_10在相同的结构中利用Retinex图像增强数据集 图像增强模型_优先级_51。

//

原文公式部分写的比较难懂

Retinex图像增强数据集 图像增强模型_人工智能_52

  • Retinex图像增强数据集 图像增强模型_优先级_53实际是如何计算的？

//

2.2 图像级别修复

为了保证在构建最终的HR增强图像时的鲁棒增强性能，我们还在最后的重建步骤之前对输入的LR图像L执行图像级嵌入。
根据等式 (1)计算沿Retinex图像增强数据集 图像增强模型_计算机视觉中掩模区域边界上的每个像素的优先级.然后，我们在Retinex图像增强数据集 图像增强模型_计算机视觉_55的未掩蔽区域形成一个包含所有补丁（大小为Retinex图像增强数据集 图像增强模型_人工智能_12）的补丁池。在补丁池中搜索中心像素优先级最高的补丁Retinex图像增强数据集 图像增强模型_优先级_31中最相似的补丁。然后根据Retinex图像增强数据集 图像增强模型_优先级_41个找到的补丁与查询补丁的相似性，以softmax的方式进行加权组合。补丁Retinex图像增强数据集 图像增强模型_优先级_31中的未知像素值用组合补丁中相应的值填充。
在更新了填充像素的置信项和数据项后，将重复上述过程，直到预测出掩模区域内的所有像素值为止。最后，利用已绘制的图像Retinex图像增强数据集 图像增强模型_Retinex图像增强数据集_60和HR梯度Retinex图像增强数据集 图像增强模型_计算机视觉_09、Retinex图像增强数据集 图像增强模型_计算机视觉_10对目标HR图像Retinex图像增强数据集 图像增强模型_深度学习_63进行最终重建。

2.3 最后的图像重建

在获得已绘制的LR图像LI和HR梯度Retinex图像增强数据集 图像增强模型_Retinex图像增强数据集_64，Retinex图像增强数据集 图像增强模型_计算机视觉_65后，通过最小化以下能量函数重构输出的HR图像Retinex图像增强数据集 图像增强模型_深度学习_66：

Retinex图像增强数据集 图像增强模型_计算机视觉_67


其中，Retinex图像增强数据集 图像增强模型_优先级_68表示计算出的Retinex图像增强数据集 图像增强模型_Retinex图像增强数据集_64和Retinex图像增强数据集 图像增强模型_计算机视觉_65。Retinex图像增强数据集 图像增强模型_优先级_71是成本函数的两项之间的加权因子。Retinex图像增强数据集 图像增强模型_深度学习_72表示一个高斯核，其标准方差Retinex图像增强数据集 图像增强模型_计算机视觉_73根据比例因子Retinex图像增强数据集 图像增强模型_计算机视觉_03设置： Retinex图像增强数据集 图像增强模型_优先级_75，如果Retinex图像增强数据集 图像增强模型_人工智能_76。

在等式中所示的能量函数中包含了两项 (2): 第一项基于“梯度级升级”步骤后计算出的梯度，对目标HR图像的梯度进行了约束。第二项确保了输出的HR图像和完成的输入LR图像之间的一致性。通过梯度下降算法的迭代优化，可以轻松地优化代价函数：

Retinex图像增强数据集 图像增强模型_深度学习_77


其中Retinex图像增强数据集 图像增强模型_优先级_78表示迭代的计数器，Retinex图像增强数据集 图像增强模型_深度学习_79表示步宽。如图1所示，在不同的掩模下，所提出的框架很好地提高了输入LR图像的分辨率，并以一种与自然和真实的纹理在视觉上合理的方式预测缺失的像素值。

3 结论

在本文中，我们提出了一种新的鲁棒图像增强框架，可以在缺少像素的LR输入图像的情况下实现超分辨率和图像。输入LR梯度利用内部跨尺度的补丁相似性。与已绘制的LR图像一起，HR增强梯度被纳入一个直接的代价函数来重建最终的输出图像。大量的实验结果表明，所提出的方法是鲁棒性的，能够产生具有尖锐的边缘和自然纹理的视觉结果。