论文
PoE-Fuse:用于双时态变化理解的精确加权专家融合
PoE-Fuse: Precision-Weighted Expert Fusion for Bi-Temporal Change Understanding
摘要
双时态变化理解可以定位和表征两幅卫星图像之间的变化,是灾难响应和环境监测的核心,涵盖变化检测、建筑物定位和损害评估。强大的视觉语言模型可以解决这些任务,但适应它们通常需要完全微调或强化学习,这是昂贵且不稳定的。我们提出了 PoE-Fuse,一种参数高效的框架,它由几何、基础和语言的冻结基础专家组成,将其特征重新采样到共享空间网格上,并仅训练轻量级融合主干。 PoE-Fuse 将对齐的特征视为潜在场景状态的高斯观察,并通过学习的每单元精度来融合它们。该专家乘积估计器严格概括了均匀求和和标量门控,并通过组合两个时间戳的精度来扩展到变化字段。单个共享主干可以同时解决这三项任务,平均 F1 达到 59.2%,而指令调整的时间视觉语言助手的 F1 为 40.7%,并且超过了在相同协议和训练预算下重新训练的专用变化检测模型。