论文
DARAD:用于连续遥感图像文本检索的双适配器和排名感知 蒸馏
DARAD: Dual Adapters and Ranking-Aware Distillation for Continual Remote Sensing Image-Text Retrieval
摘要
随着对地观测技术的快速发展,遥感档案迅速扩大,遥感图文检索(RS-ITR)变得越来越重要。然而,连续RS-ITR仍然具有挑战性,因为RS中的尺度变化和分布变化加剧了跨模态对齐空间扭曲,使得现有的连续学习(CL)方法难以支持可靠的连续检索。为了应对这一挑战,我们提出了 DARAD,这是一个双适配器和排名感知的 蒸馏 框架,它保留历史的跨模式排名结构,同时从不断发展的档案中学习新的视觉和文本概念。具体来说,视觉分支引入了一个空间融合适配器,它集成了粗粒度区域线索和细粒度补丁线索,以适应 RS 尺度变化,同时将视觉更新锚定到预训练的对齐空间。文本分支采用多专家语义路由,将共享文本语义与语义专门残差分开,以吸收新出现的描述,同时限制全局文本嵌入漂移。此外,双向排名 蒸馏 使用冻结的教师模型和历史锚点来保留历史跨模式排名结构,从而减轻连续阶段之间的对齐空间扭曲。多阶段连续检索协议下的实验表明,DARAD 实现了优于现有 CL 方法的性能,提高了对新到达数据的适应性,同时保持了对历史数据的有效性。