基于域感知松弛正交子空间的遥感多模态基础模型自适应

预训练基础模型（FM）在计算机视觉领域取得了巨大成功，但其高昂的微调成本限制了实际部署。参数高效微调 (PEFT) 方法（例如低秩适应 (LoRA)）通过限制对预定义低秩子空间的更新来提高效率。然而，当应用于具有大量域偏移的遥感任务时，固定子空间是在不观察下游激活分布的情况下构建的，因此可以提供较差的适应坐标系，这种现象在本文中称为子空间失配。为了解决这个问题，引入了一个统一的框架，称为领域感知松弛正交子空间适应（DROS），它将低秩适应重新表述为数据条件子空间学习和灵活子空间适应。具体来说，权重分解以从下游训练分布估计的二阶激活统计为条件，以便初始化反映遥感数据实际引起的特征几何形状，然后通过宽松的正交参数化实现灵活的几何变换。此外，通过跨模态特定子空间共享转换结构，该框架扩展到多模态设置（MM-DROS），从而促进有效的跨模态交互。对多个遥感基准的大量实验表明，DROS 实现了最先进的性能，甚至超越了完全微调，而无需额外的推理开销。