Image Super-Resolution as a Defense Against Adversarial Attacks（A类TIP期刊2020）
1、摘要
卷积神经网络在多个计算机视觉任务中取得了显著的成功。然而，它们很容易受到精心制作、人类难以察觉的对抗噪声模式的影响。本文提出了一种计算效率高的图像增强方法——图像超分辨率，该方法提供了一种强大的防御机制，有效地减轻了这种对抗性扰动的影响。防御主要分为两类：1、无法识别真实样本和对抗样本，但经过图像超分辨率修复后，都能被模型识别为正确的标签。2、在分类模型前添加一个类似过滤器，过滤掉对抗样本。
本文的防御方法属于第一类，所提出的方案简单且具有以下优点:1)不需要任何模型训练或参数优化;2)补充了其他现有的防御机制;3)不知道被攻击的模型和攻击类型;4)在所有流行的攻击算法中提供了优越的性能。基于图像超分辨率和小波滤波的防御方法形成了一个联合不可微模块，可以有效地恢复对抗性扰动图像的原始类标签。
作者表示本文最大的贡献就是将SR用到了防御对抗样本上，所以算法都是现有的
主要贡献：
假设学习到的SR模型具有足够的通用性，可以将非流形样本重新映射到自然图像流形上（如下图）。小波域滤波进一步抑制了添加噪声的影响，并通过对图像的高分辨率版本进行全局池化操作将其固有地最小化。证明超分辨率可以成功地将分类器的注意力从随机噪声中转移到受攻击图像的更多区分区域。
a 图使用3D显示对抗样本（红色）和干净图像绿色的特征，b 图表示经过超分辨率将对抗样本重新映射到自然图像流形（流形很抽象.......，通过通读全文，我认为本文的流形是指决策面）
2、小波去噪+超分辨率
超分辨率可抵御对抗攻击：该图说明了样本图像从低分辨率到高分辨率流形的映射。 对抗图像被映射到与干净自然图像相同的域中，从而恢复其对应的真实标签。
此方法的基本假设是，深层超分辨率网络会学习一个映射函数，该映射函数的通用性足以将被扰动的图像映射 到其对应类图像的流形上。 通过深层CNN学习的这种映射功能基本上可以对真实的非扰动图像数据的分布进行建模。
超分辨图像保持了接近原始(干净)输入图像的高频细节。然而，它与干净的图像有很大的不同，例如，比较恢复的和干净的图像在更高频率的幅度谱，这显示了一个更平滑的频率扩展在恢复的图像。从下图的左下角可以看出，恢复后的图像相对于原始图像更加清晰，但高频细节更多。对比原始噪声信号(下图的左上角)和恢复图像中的剩余噪声(下图的左下角)，我们可以看到，SR网络丢弃了大部分的噪声扰动;然而，稀疏的噪声痕迹仍然存在。此外，SR网络增强了沿图像显著边界的高频变化(注意沿鸟类边界的响应)。
算法：
算法1给出了我们的端到端防御方案的算法描述。首先，采用小波软去噪的方法消除对抗性噪声的影响。然后使用超分辨率作为映射函数来增强图像的视觉质量。超分辨率图像将对抗性示例映射到高分辨率空间中的自然图像流形，否则在低分辨率空间中处于流形之外。然后，将恢复的图像通过预先训练的模型，在该模型上生成对抗示例。可以看出，我们的模型无关的图像变换技术旨在最小化图像域的对抗性扰动的影响，而对干净图像的性能损失很小。我们的技术对非对抗性图像的分类精度影响最小。
3、实验结果
作者提出干净的和对抗性的样本位于不同的流形上，并且将图像超分辨到更高维度的空间会将对抗性样本重新映射回自然图像流形。 为了验证此假设，我们微调了一个在ImageNet数据集上的预训练模型，用10,000对干净的和对抗性的示例（从所有上述攻击技术中生成）训练，令它成为一个2分类器。我们的模型有效地利用了干净图像与对抗样本之间的细微差别，并以非常高的准确性（99.6％）将两者分开。
SR表示超分辨率，WD+SR表示小波去噪+超分辨率
4、结论
对抗性扰动会严重影响基于深度学习模型的安全性。这可能会产生广泛的影响，因为最近深度学习的成功已经导致这些模型被部署在广泛的重要应用中，从医疗保健到监控。因此，设计健壮的防御机制，能够在不降低未受干扰图像性能的情况下对抗对抗性攻击，是绝对必要的。提出了一种基于超分辨率的图像恢复方案，将流形外的对抗性样本映射到自然图像流形中。我们发现，超分辨率网络能够抵消对抗噪声的主要原因是它们在输入图像中加入了高频信息。我们所提议的防御管道与基础模型和攻击类型无关，不需要任何学习，对于黑盒和白盒攻击同样有效。我们演示了拟议的防御方法的有效性，与最先进的防御方案相比，在那里它比竞争模型表现出相当大的优势。
