图像恢复系列（11）之修复（inpainting） | 最新ICCV2021生成对抗网络GAN论文梳理汇总...

十一、图像恢复-修复

27 WaveFill: A Wavelet-based Generation Network for Image Inpainting

• 图像修复旨在用逼真的内容完成图像缺失或损坏的区域。当前流行的方法通过使用生成对抗网络重建具有较好感知质量的结果。但重建损失和对抗性损失侧重于合成不同频率的内容，简单地将它们一起应用通常会导致频率间的冲突。
• 本文引进WaveFill，基于小波修复，将图像分解为多个频段，并分别明确地填充每个频段中的缺失区域。WaveFill 使用离散小波变换 (DWT) 分解图像，自然地保留空间信息。它将L1重建损失应用于分解的低频段，将对抗性损失应用于高频段，从而在完成空间域图像的同时有效地减轻频间冲突。为了解决不同频段的修复不一致问题并融合具有不同统计数据的特征，设计一种新的归一化方案，可有效对齐和融合多频特征。大量实验表明WaveFill 在定性和定量上的优越性

28 Painting from Part

• 本文研究基于图像的局部去绘制、修复图像，涉及图像内修复和外修复。为充分利用来自局部区域的信息和来自全局域（数据集）的信息，提出一种新的绘制方法，包括三个阶段 : 噪声重启、特征重绘、局部细化，利用特征级别、局部区域级别、生成对抗网络的强大表示能力来绘制整个图像。
• https://github.com/zhenglab/partpainting

29 High-Fidelity Pluralistic Image Completion with Transformers

• 卷积神经网络 (CNN)在图像补全（Image completion）方面取得了巨大进步。但由于一些固有特性（例如，局部归纳先验），CNN 在理解全局结构或支持多元补全方面表现不佳。最近，transformer 展示了在建模长期关系和生成不同结果方面的能力，但计算复杂度太大，阻碍处理高分辨率图像。
• 本文使用transformer 进行外观先验重建，使用 CNN 进行纹理补充

30 Image Inpainting via Conditional Texture and Structure Dual Generation

• 通过引入结构先验，深度生成方法在图像修复方面取得了相当大的进展。然而，由于在结构重建过程中缺乏与图像纹理的适当交互，目前的解决方案无法处理大损坏的情况，并且通常会出现失真结果。

本文提出一种用于图像修复的新型双流网络，以耦合方式进行结构约束的纹理合成，以及纹理引导的结构重建，可以更好地相互利用以获得更合理的生成。此外，为增强全局一致性，设计双向门控特征融合（Bi-GFF）模块来交换和组合结构和纹理信息，并开发上下文特征聚合（CFA）模块。CelebA、Paris StreetView 和 Places2 数据集上的定性和定量实验证明了所提出方法的优越性。

• https://github.com/Xiefan-Guo/CTSDG

31 Learning High-Fidelity Face Texture Completion without Complete Face Texture

• 对于人脸纹理补全，通常用多视图成像系统或 3D 扫描的一些完整纹理进行监督学习。本文尝试在不使用任何完整纹理情况下完成人脸纹理补全，以无监督方式、利用大量不同的人脸图像（例如，FFHQ）训练模型。

提出DSD-GAN，在 UV 空间和图像空间中应用两个判别器，以互补的方式学习结构和纹理细节。

32 Learning a Sketch Tensor Space for Image Inpainting of Man-made Scenes

• 本文研究修复人造场景的任务。由于难以保留图像的视觉模式，例如边缘、线条和连接点，因此并不简单。
• 为此本文用于修复人造场景的 Sketch Tensor (ST) 空间，为促进结构细化，提出一种多尺度修复（MST）网络，新的编码器-解码器结构：编码器从输入图像中提取线条和边缘，将它们投影到 ST 空间中。从这个空间，解码器学习恢复输入图像。大量实验验证有效性。

33  Parallel Multi-Resolution Fusion Network for Image Inpainting

• 传统的深度图像修复方法基于自编码器架构，其中图像的空间细节将在下采样过程中丢失，导致生成结果不佳。此外，自编码器架构的深层结构信息和浅层纹理信息不能很好地集成。为此，设计了一个具有多分辨率partial convolution的并行多分辨率修复网络，其中低分辨率分支专注于全局结构，而高分辨率分支专注于局部纹理细节。实验结果表明，方法可有效地融合结构和纹理信息，比最先进的方法产生更逼真的结果。

34  CR-Fill: Generative Image Inpainting with Auxiliary Contextual Reconstruction

• 最近的图像修复方法使用注意力机制层来促使生成器从已知区域借用特征块来完成缺失区域。由于缺少对缺失区域和已知区域之间对应关系的监督信号，可能无法找到合适的参考特征，导致结果出现伪影。此外，它在推理过程中计算整个特征图的成对相似度，带来不小的计算开销。
• 为此，提出辅助上下文重建任务的联合训练，无注意力的生成器同样可以学习到这种借用周边特征去修复的能力，使得输出也合理。辅助分支可以看作是一个可学习的损失函数，即命名为上下文重建（contextual reconstruction ，CR）损失，其中查询参考特征相似性和基于参考的重建器与修复生成器联合优化。
• 实验结果表明，所提出的修复模型在定量和视觉性能方面优于最先进的模型。
• https://github.com/zengxianyu/crfill