Unsupervised Real-world Image Super Resolution via Domain-distance Aware Training

参考：​​https://www.bilibili.com/video/BV1PT4y1d7b4​​

Bicubic的方法无法对真实场景下的退化进行模拟，真实图像往往包含噪声以及运动伪影等，因此用于训练模型的LR与真实世界图像之间存在domain gap

盲超分问题的设定：给定一组真实世界包含模糊、伪影的图像LR，以及一组HR，寻找一种方法，在没有配对数据的情况下，能够将LR重建出SR，使得SR更加接近于HR domain

一般分为三类：

2. 直接拍摄获得成对数据



3. 调整相机的焦距，拍摄LR、HR图像，获得成对的训练数据
   缺点：费时费力、成本高
5. 假设真实世界LR和HR之间的退化关系可以被特定模糊核以及下采样模拟



6. 用real-world LR生成模糊核，用于下采样HR，即可得到接近于real-world的LR
   缺点：退化方式较为复杂时，模糊核难以模拟
8. 无监督训练方式



9. 这种方式不依赖于任何先验假设和退化模型，首先训练一个退化网络，用于将HR下采样到LR domain，从而获得LR-HR对，然后用成对数据训练超分网络
   缺点：生成的LR与real-world LR存在domain LR

提出的新超分框架

首先训练基于GAN的下采样网络DSN，将HR下采样到real-world domain，同时生成Domain Distance Map

unpaired数据如果用$L_{adv}$容易产生图像伪影，并且可能难以收敛，因此在DSN中仅仅只将高频信息输入判别器，因为图像的噪声退化主要集中在高频信息

为了避免冗余信息的影响，让判别器判别的特征更加明确，作者采用高频判别的方式训练在训练阶段，DSN内部的Discriminator会输出一个Domain Distance Map，map上的值表示对图像各个patch是real还是fake的判定，将这个判定作为domain gap的度量，用于后续SR网络的训练

生成了LR-HR pair（生成的fake LR和GT）后，作者将数据分为两类（source domain和target domain），进行SR网络的训练

在source domain中，在L1损失的基础上，使用Domain Distance Map对图像各个patch的loss进行重新加权，使得domain gap更小的patch的L1 loss更大，让网络更关注于domain gap更小的patch，同时减小domain gap大的patch对网络训练的扰动

在target domain中，在高频域使用没有GT的real world图像的$L_{adv}$，从而缩小生成的图像domain和HR domain之间的差距

在该框架中，可以保持LR->HR图像内容的一致性，并学到real world LR->HR的映射关系，进一步减小domain gap带来的影响

实验部分

给定DIV2K中的800张HR图片（target domain），以及2650张未知退化的LR作为source domain，目标是将未知退化的LR作为source domain，重建出接近target domain的SR图像消融实验

1. 输入LR
2. 输入HR用DSN下采样，并且不分离高低频信息
3. 输入HR用DSN下采样，并且用高斯核分离高低频信息
4. 输入HR用DSN下采样，并且用wavelet分离高低频信息

作者采用的wavelet得到的PSNR为26.007