论文

在图像翻译之前学习目标先验:遥感中跨模态图像翻译的解耦训练范式

Learning the Target Priors Before Image Translation: A Decoupled Training Paradigm for Cross-Modal Image Translation in Remote Sensing

模型训练参数高效训练

摘要

遥感中的跨模态图像转换必须保留源观测内容,同时匹配目标域分布。现有方法从稀缺配对数据中共同学习目标先验和跨模态依赖性,忽略了一个关键的不对称性:只有后者本质上需要跨模态对应。我们通过条件评分和去噪风险分析来形式化这种区别,并提出在图像翻译之前学习目标先验(LTP-BIT),这是一种将两个学习任务解耦的先验优先范式。 LTP-BIT 首先从大规模未配对图像中学习目标域生成先验,然后保留预训练的主干权重,并通过参数高效的双流架构 P-DART 学习源条件控制。对照实验表明,先前的匹配和缩放主要提高目标域的真实性,而实例保真度更依赖于条件适应。 LTP-BIT 仅使用 9.81% 的任务特定参数就在 SAR-to-RGB 和 NIR-to-RGB 基准测试中实现了最先进的性能。在 QXS-SAROPT 上,它仅保留 25% 的配对样本,从而保留了近乎完整的数据实例保真度。