TrajRAG：检索零样本对象导航的几何语义经验

现有的零样本对象目标导航（ObjectNav）方法通常利用大语言或视觉语言模型中的常识知识来指导导航。然而，此类知识源自互联网规模的文本，而不是具体的 3D 体验，并且在导航过程中收集的情景观察通常会被丢弃，从而阻碍了终生经验的积累。为此，我们提出了 Trajectory RAG (TrajRAG)，这是一种检索增强生成框架，通过检索几何语义经验来增强大模型推理。 TrajRAG 逐渐积累过去导航事件中的事件观察结果。为了构建这些观察结果，我们提出了一种拓扑极（拓扑极）轨迹表示，它紧凑地编码空间布局和语义上下文，有效地消除了原始情景观察中的冗余。分层分块结构进一步将相似的极地轨迹组织成统一的摘要，从而实现从粗到细的检索。在导航过程中，候选边界会生成多个轨迹假设，这些假设在 TrajRAG 中查询类似的过去轨迹，从而指导航路点选择的大模型推理。新的体验不断融入 TrajRAG，实现终身导航经验的积累。在 MP3D、HM3D-v1 和 HM3D-v2 上的实验表明，TrajRAG 有效地检索了相关的几何语义经验并提高了零样本 ObjectNav 性能。