论文

将适应转化为资产:在线视觉语言导航的跨域桥接

Turning Adaptation into Assets: Cross-Domain Bridging for Online Vision-Language Navigation

模型训练持续学习

摘要

在非平稳环境变化下进行导航对于在野外部署的视觉和语言导航(VLN)代理提出了严峻的挑战。然而,现有的 VLN 测试时适应(TTA)方法在很大程度上将在线适应视为短暂的、孤立的更新,导致灾难性遗忘和负迁移。为了克服这些问题,我们提出了具有历史资产的跨域桥接(IDEA),这是一种新颖的 TTA 框架,可将适应转化为资产的积累和组合。具体来说,IDEA 引入了通过 Fisher 引导的加权方案优化的软提示,以捕获可转移的知识。然后使用域坐标来增强这些优化的提示,以形成动态资源库。利用这个库,IDEA通过将目标域投影到历史知识的凸包上来构建跨域桥梁。这些设计形成了一个互补的循环:不断发展的库支撑桥梁建设,而桥梁提供卓越的初始化以加速资产优化。 REVERIE、R2R 和 R2R-CE 基准测试的广泛实验证明了 IDEA 相对于现有方法的一贯优越性,展示了其通过资产共享实现 无需训练 适应的能力。