用于零样本体现导航和推理的多尺度高斯语言图

理解环境的几何和语义结构对于具体化导航和推理至关重要。现有的语义映射方法在显式几何和多尺度语义之间进行权衡，并且缺乏大型模型的本机接口，因此需要额外的特征投影训练以进行语义对齐。为此，我们提出了多尺度高斯语言图（GLMap），它引入了三个关键设计：（1）显式几何，（2）涵盖实例和区域概念的多尺度语义，以及（3）双模态接口，其中每个语义单元共同存储自然语言描述和3D高斯表示。 3D 高斯通过高斯分布实现任务相关图像的紧凑存储和快速渲染。为了实现高效的增量构建，我们进一步提出了一种高斯估计器，它可以从密集点云中分析导出高斯参数，而无需基于梯度的优化。在 ObjectNav、InstNav 和 SQA 任务上的实验表明，GLMap 有效增强了目标导航和上下文推理，同时以零样本方式保持与基于大型模型的方法的兼容。代码可在 https://github.com/sx-zhang/GLMap 获取。