多模态遥感图像生成的对比参数解缠

现有的遥感图像生成方法很大程度上局限于单模态合成，因此无法利用多模态图像固有的补充信息。为了解决这一限制，我们提出了一种用于多模态遥感图像生成的对比参数解缠框架，该框架从单个文本提示生成跨多种模态（包括光学、红外和合成孔径雷达（SAR））的语义一致且结构对齐的图像。具体来说，我们引入了一个对比参数解缠模块，该模块在正交核心子空间内的参数级别将共享语义与特定于模态的属性解开。基于该模块，我们开发了一种解缠结的优化策略，首先约束 LoRA 适配器的参数矩阵 A 通过多模态对比目标捕获模态不变语义，然后引导多个参数矩阵 B 在文本条件下学习模态特定属性。该策略能够同时生成具有一致语义内容和不同模态特征的多模态图像。此外，为了确保生成的图像之间的结构对齐，我们设计了一种查询键结构转移机制，通过将结构相关先验从锚模态转移到其余模态，在推理过程中联合建模多模态采样轨迹。大量的实验表明，我们的方法在生成质量、语义一致性和结构对齐方面优于最先进的遥感图像生成方法，同时在下游对象分类任务中也实现了卓越的性能。