论文

焦点:针对不确定性感知半静态场景的细粒度开放词汇变化检测

FOCUS: Fine-Grained Open-Vocabulary Change Detection for Uncertainty-Aware Semi-Static Scenes

应用与实践视觉感知与空间理解

摘要

长时间运行的自主机器人必须随着两次访问之间世界的变化而保持其环境记忆处于最新状态。在半静态环境中,对象可能会被不同但几何和语义相似的实例替换,使得仅从几何或粗略语义难以检测身份变化。我们提出了 FOCUS,一个用于对象级变化检测和地图维护的不确定性感知框架。我们将半静态记忆维护制定为概率推理,将几何似然与从 3D 高斯图渲染的外观似然融合在一起。递归三状态估计器维护每个映射对象是否是 PERSISTED、REPLACED 或 REMOVED。为了解决不完美的 3DGS 渲染问题,我们对渲染的外观证据进行概率建模,而不是将其用作直接的变化分数,模型参数根据初始映射会话的无变化重播自动校准。我们在具有模糊就地替换的新 Isaac Sim 仓库基准和现实世界的 TorWIC 数据集上评估我们的方法。它在概率基线上将对象级替换 F1 从 0.20 提高到 0.84,并且无需手动参数重新调整即可转移到现实世界数据。

焦点:针对不确定性感知半静态场景的细粒度开放词汇变化检测的原论文方法或结果图
图 1:系统管道。该系统首先构建一个对象级参考图,包括基于 TSDF 的几何图和 3DGS。在以后的重访期间,系统通过融合几何和外观概率证据来推断每个映射的对象状态,并在线更新地图。