论文
SCD4VPR:用于长期视觉位置识别数据库更新的多模式场景变化检测
SCD4VPR: Multi-modal Scene Change Detection for Long-term Visual Place Recognition Database Update
摘要
移动机器人的长期自主性要求地图能够随着环境随时间的变化而保持准确。视觉地点识别 (VPR) 是一种核心定位功能,随着查询图像和数据库图像之间的时间差距增大,特别是在季节性过渡期间,其性能会急剧下降。场景变化检测(SCD)为数据库维护提供了原则性机制,但现有方法依赖于二进制、单模态视觉特征,无法区分结构变化和视点引起的差异,而这种区别对于正确的更新决策至关重要。我们提出了 SCD4VPR,一种场景变化检测,可以在统一的视觉语言框架中共同推理发生了什么变化,并将真正的变化与视点引起的差异区分开来。 SCD4VPR 通过跨模式注意力将 VLM 生成的语义描述与视觉特征融合,并通过几何语义匹配细化预测,生成多类变化掩模,分别识别对象变化、外观变化和视点引起的变化。我们推出了 NYC-CD,这是第一个真实世界街景 SCD 基准,具有跨 8,122 个图像对的像素级多类注释。四个 SCD 基准测试的实验表明,SCD4VPR 持续改进了三个架构不同的主干。在从夏季到冬末对 NYU-VPR 进行的受控 VPR 数据库维护实验中,我们确认,当数据库保持不变时,检索性能会大幅恶化,并表明 SCD4VPR 引导的更新恢复了大部分损失(最大时间间隔为 +30.1 R@1),同时保持数据库比简单追加更紧凑。