论文

SuperMap:用于视觉语言导航的时空 SLAM 系统

SuperMap: A Spatio-Temporal SLAM System for Visual-Language Navigation

应用与实践视觉感知与空间理解

摘要

人类环境中的机器人导航需要时空语义表示,能够协调开放词汇感知与长期环境变化。虽然基础模型提供了强大的零样本识别,但它们的预测是间歇性的并且依赖于视图,并且天真地将它们集成到映射管道中会导致随着时间的推移身份漂移和过时的语义。我们提出了 SuperMap,一种用于语言引导导航的 4D 时空映射框架,它将高频几何 SLAM 与异步开放词汇感知相结合。我们的核心贡献是一致性驱动的映射引擎,它将 3D 感知实例关联/重新激活与有原则的存在和标签置信度更新相结合,以维持稳定的对象身份并在遮挡和场景变化下修剪过时的地图内容。 SuperMap 生成可查询的 4D 场景图表示,通过支持对象语义、关系的组合查询,与视觉语言模型自然交互。我们在基准测试和真实机器人上演示 SuperMap,包括出现/消失和重新定位的动态场景,并提供消融和运行时分析。我们以开源方式发布完整的系统,为社区提供开放词汇时空映射的可部署基线。项目网站:superodometry.com/supermap。