通过跨模式补偿进行退化感知提示学习，以消除恶劣天气

恶劣天气会导致各种复杂的图像质量下降，严重影响计算机视觉系统的可靠性。现有的一体化恢复模型试图在统一框架内解决多种退化类型，但往往缺乏退化特征的明确空间和语义建模，限制了它们对不同天气条件的适应性。为了解决这一限制，我们提出了一种退化感知跨模态提示补偿网络（DCMPC-Net），它利用预训练视觉语言模型中的跨模态退化线索来在统一主干内条件恢复特征。具体来说，我们的 DCMPC-Net 主要由跨模态提示生成器（CMPG）、提示引导注意力对齐模块（PGAAM）和双特征补偿模块（DFCM）组成。 CMPG 将文本嵌入与视觉特征相集成，以生成退化感知提示，对与退化相关的语义和上下文线索进行编码。这些提示通过 PGAAM 注入解码器，它自适应地将语义信息与降级区域对齐，以促进上下文感知恢复。为了进一步增强结构保真度，引入了 DFCM，将退化伪影与场景结构分开，从而改善精细纹理和详细内容的重建。通过将跨模态语义引导与空间对齐和结构增强相结合，DCMPC-Net 在不同的天气条件下实现了稳健且感知一致的恢复。大量实验表明，DCMPC-Net 在特定任务和统一设置中均优于最先进的方法，实现了卓越的准确性和视觉保真度。