作者提出了一个语言驱动的一体化恢复框架，这是首个PVL结合MOE的图像恢复模型。提出方法的关键是利用预训练的视觉语言模型来推理退化图像中的各种天气特定知识。然后，作者使用这些知识通过三个模块恢复干净的图像:退化图测量模块，Top-K专家恢复和恢复特征聚合。 首个将大模型（PVL）结合混合专家系统（MOE）用于多合一恶劣天气图像恢复
论文链接：https://arxiv.org/abs/2312.01381Code: github.com/noxsine/LDR
背景
在恶劣天气条件下成像时会出现图像质量退化的问题，这给自动驾驶汽车和户外监控系统等计算机视觉系统带来了重大挑战。这些系统需要能够在各种天气条件下稳定运行，无论是雨天、雾天还是雪天。为了确保安全和效率，采用一体化框架（即一个模型能处理多种退化输入）处理不同天气状况比使用针对每种天气单独优化的模型要更为有效，这种集成的任务流程可以更好地适应各种应用场景的需求。
一般来说，退化图像可以建模为干净图像和退化残差的相加组合。因此，一些研究对所有退化类型使用单个网络。虽然这些方法能够学习到公共的图像重建知识，但是它们忽略了不同的退化仍然具有不同的数学模型，例如雾霾模型中大气散射效应产生的透射图对于雨滴模型是不必要的。
因此，另一些研究使用不同的子网络进行天气特定知识的学习。然而，他们需要辅助监督来分配不同子网，例如退化类型或深度图作为监督。此外，现有方法的固定子网架构限制了所学习的天气特定知识的多样性及其处理各种天气条件下图像的能力，例如由于天气严重程度或以前从未遇到过的退化类型而退化的图像，或者真实场景中的雪和雾霾等混合天气条件。
在本文中，我们的问题是——我们能否通过自适应学习各种天气特定知识和共享知识来恢复被各种天气条件退化的图像，而不需要真实天气的类型和强度的真值。我们通过语言驱动的一体化恢复框架从两个方面回答了这个问题。
1)预训练视觉语言模型的特征空间内的知识可以用于各种任务，但其在我们的任务中的潜力仍在探索中。一种直接的方法是使用预训练视觉语言模型作为图像退化分类器。相比之下，我们更进一步，从预训练视觉语言模型的特征空间中推理出天气条件类型之外的各种天气特定知识。
2)在退化图的指导下，我们释放了各种天气去除的潜力。由于模型参数是与天气相关的，例如，与降雨相关的参数通常对不相关的退化无效，并且将不相关参数的计算归零也几乎不影响恢复质量。因此我们选择在图像恢复过程中绕过与特定天气类型和严重程度无关的参数的计算。在混合专家模型结构的帮助下，我们的框架动态地选择专家进行恢复，从而保证了天气相关知识的自适应学习，而不局限于固定的网络架构。
主要贡献
我们提出了一种语言驱动的一体化恢复框架框架，可以在图像恢复的一体化解决方案中自适应地消除各种不利的天气条件。我们的模型是第一个将预训练的视觉语言模型（PVL）应用到一体化的图像恢复领域的模型。
我们提出了一个退化图测量模块，用于从预训练的视觉语言模型中提取不同的天气特定知识。我们使用大型语言模型查询降级图像中降级的发生、类型和严重程度。获得的降级先验描述了高级文本语义中降级的内容、位置和严重程度。然后，通过将先验与退化图像对齐，将高阶退化转换为二维退化图，这个退化图提供了来自预训练的视觉语言模型模型的不同图像退化知识的逐像素表示。
我们提出了一个Top-K专家恢复模块，稀疏和自适应计算像素级恢复特征。具体来说，我们维护了一个恢复专家的候选列表，并利用退化映射稀疏地选择与每个退化最相关的恢复专家。通过明智地应用选定的专家像素来恢复特定于天气的特征，我们为恢复创建了灵活的、自适应退化的专家组合/模型架构。
网络结构图
实验结果
在雨、雪、雾等退化天气类型数据集上的结果表明，我们的方法获得了最先进的性能。
退化图可视化
我们在all-weather数据集上可视化了我们的方法所生成的退化图，可以看到我们的退化图能够很好的定位出退化区域。同时我们还展示了视觉语言模型对于退化输入的语义输出。
结论
我们提出了一个语言驱动的一体化恢复框架，这是首个PVL结合MOE的图像恢复模型。提出方法的关键是利用预训练的视觉语言模型来推理退化图像中的各种天气特定知识。然后，我们使用这些知识通过三个模块恢复干净的图像:退化图测量模块，Top-K专家恢复和恢复特征聚合。在标准基准数据集上的实验表明，我们的方法在很大程度上优于过去的工作。在未来，该方法利用视觉语言模型生成的退化先验提示，有望发展成为图像恢复的基础模型。
