论文

Argos:适配几何基础模型进行在线场景变化检测

Argos: Adapt Rich Geometric Priors for Generalizable Online Scene-Change-Detection

模型训练应用与实践参数高效训练机器人视觉感知与空间理解

摘要

在动态环境中运行的机器人需要可靠地检测周围环境随时间的变化。现有的基于学习的方法很大程度上依赖于成对的 2D 图像特征,这些特征在大的视点变化和遮挡下表现不佳,对噪声敏感,并且跨领域的泛化能力有限,而显式 3D 方法通常需要昂贵的离线优化。我们表明,几何基础模型 (GFM) 的隐式 3D 知识为解决这些限制提供了坚实的基础。我们介绍 Argos,它采用 GFM 特征进行联合场景变化检测和 3D 重建。为了解决数据稀缺问题并朝着场景变化检测的基础模型迈出一步,我们引入了一个由两个合成数据集和一个真实世界数据集组成的大规模基准,并跨不同数据集联合训练以提高跨域泛化能力。我们进一步介绍了 Argos-SLAM,这是一种专为机器人技术设计的实时系统,可执行在线变化检测和变化感知 4D 映射。在基准测试中,我们的框架基本上 优于现有基线,变化 IoU 提升高达 42.01%,F1 提升高达 27.91%,同时支持在不断变化的现实环境中进行可扩展部署。

Argos:适配几何基础模型进行在线场景变化检测:论文原图
图 3:Argos 架构。在 VGGT-Ω\Omega 的基础上,我们引入了一个具有三个模块的共同可见性感知时空比较器:将最终相机Token注入中间补丁特征的相机读取器、聚合跨访问信息的会话间交叉注意力,以及结合多层特征来预测每次访问变化掩模的轻量级 DPT Fusion Head。然后使用这些掩模将联合重建分解为变化感知图。