UniDiffFusion：用于多任务和降级鲁棒图像融合的统一扩散框架

一般图像融合旨在集成来自多个源图像的互补信息，但现有方法通常依赖于特定于任务的模型，并且难以在不同的退化条件下保持鲁棒的性能。在本文中，我们提出了 UniDiffFusion，一个用于多任务和退化鲁棒图像融合的统一扩散框架。 UniDiffFusion 利用预训练扩散模型的强大生成先验来建立跨异构融合任务的共享融合主干，同时引入任务和退化感知条件适应以适应其不同的信息选择要求。具体来说，我们采用任务提示调制来逐步使共享扩散表示适应不同的融合目标，并开发一个退化提示路由器来动态检索退化感知先验并在融合之前恢复损坏的源特征。此外，引入了应用程序提示库，以将面向任务的语义指导纳入下游应用程序，例如对象检测和语义分割，而不改变共享的融合和恢复路径。所提出的框架以渐进的方式进行训练，以解耦融合学习、退化感知恢复和特定于应用程序的适应，从而减少异构目标之间的干扰。对可见光-红外、多重曝光和多焦点图像融合的大量实验表明，UniDiffFusion 在清洁和退化条件下都能实现卓越的融合质量和鲁棒性。此外，UniDiffFusion 不断提高下游检测和语义分割性能，证明了其作为感知融合和面向任务的视觉的统一扩散框架的有效性。