论文
ReFlowSET:用于 SAR 到 EO 图像转换的表示对齐潜在流匹配
ReFlowSET: Representation-Aligned Latent Flow Matching for SAR-to-EO Image Translation
摘要
SAR 到 EO 图像转换的目的是从合成孔径雷达 (SAR) 观测中生成电光 (EO) 图像。现有的潜在扩散方法通常继承预定的自动编码器,尽管重建保真度在编解码器和模态之间可能有很大差异。由于潜在编解码器影响 SAR 条件和 EO 目标的往返保存,因此编解码器选择构成了基本的设计选择;然而,现有方法很大程度上依赖于在自然图像上预训练的编解码器。为了解决这个问题,我们引入了 ReFlowSET,这是一种条件潜在流匹配框架,它通过联合 SAR-EO 重建审核来选择其编解码器。 ReFlowSET 没有继承重量级预训练生成器,而是在选定的潜在空间中从头开始训练一个小得多的条件 DiT,使用双流 SAR 条件,然后进行联合特征细化。为了为这种从头开始的训练提供语义指导,中间的噪声 EO 特征与由冻结视觉基础模型提取的干净的目标 EO 表示相一致。这种对齐仅在训练期间使用,并且不会引入额外的推理成本。 QXS-SAROPT 和 SAR2Opt 的实验展示了各种感知保真度和分布指标的最先进性能。代码和预训练权重可在 https://github.com/KAIST-VICLab/ReFlowSET 上公开获取。