论文

3DGSNav:通过主动 3D 高斯泼溅增强对象导航的视觉语言模型推理

3DGSNav: Enhancing Vision-Language Model Reasoning for Object Navigation via Active 3D Gaussian Splatting

摘要

对象导航是具身智能的核心能力,使代理能够在未知环境中定位目标对象。视觉语言模型 (VLM) 的最新进展促进了零样本目标导航 (ZSON)。然而,现有的方法通常依赖于场景抽象,将环境转换为语义图或文本表示,导致高层决策受到低层感知准确性的限制。在这项工作中,我们提出了 3DGSNav,这是一种新颖的 ZSON 框架,它嵌入 3D 高斯分布 (3DGS) 作为 VLM 的持久存储器,以增强空间推理。通过主动感知,3DGSNav 逐步构建环境的 3DGS 表示,从而实现前沿感知第一人称视图的轨迹引导自由视点渲染。此外,我们设计了结构化的视觉提示,并将其与思想链(CoT)提示相结合,以进一步改进 VLM 推理。在导航过程中,实时目标检测器会过滤潜在目标,而 VLM 驱动的主动视点切换则执行目标重新验证,确保高效可靠的识别。对四足机器人的多个基准测试和真实世界实验的广泛评估表明,我们的方法相对于最先进的方法实现了稳健且具有竞争力的性能。项目页面:https://aczheng-cai.github.io/3dgsnav.github.io/