论文
VLN-NF：具有错误前提指令的可行性感知视觉和语言导航
VLN-NF: Feasibility-Aware Vision-and-Language Navigation with False-Premise Instructions
摘要
传统的视觉和语言导航（VLN）基准假设指令是可行的并且引用的目标存在，这使得智能体没有能力处理错误前提的目标。我们引入了 VLN-NF，这是一个带有错误前提指令的基准，其中目标不在指定的房间内，代理必须导航，通过室内探索收集证据，并明确输出 NOT-FOUND。 VLN-NF 是通过可扩展的管道构建的，该管道使用 LLM 重写 VLN 指令，并使用 VLM 验证目标是否存在，从而产生看似合理但实际上不正确的目标。我们进一步提出 REV-SPL 来联合评估房间到达、探索覆盖范围和决策正确性。为了应对这一挑战，我们提出了 ROAM，这是一种两级混合系统，它将受监督的房间级导航与由自由空间先验引导的 LLM/VLM 驱动的室内探索相结合。 ROAM 在比较方法中实现了最佳的 REV-SPL，而基线经常在不可靠的指令下探索不足并过早终止。 VLN-NF 项目页面可以在 https://vln-nf.github.io/ 找到。