根据抽象指令进行基于常识的路径规划

我们提出了\emph{常识排名搜索}（CoRS），一种新颖的路径规划器，它将抽象指令转变为遵循常识的路线。虽然现有的方法尊重预先写下的考虑因素，但在人群中工作的机器人也必须遵循那些未说明的因素，就像工人在没有被告知的情况下避开潮湿的地板一样。 CoRS 利用大型语言模型 (LLM) 和视觉语言模型 (VLM) 作为常识知识来推理其规划中的这些潜在考虑因素。给定抽象指令（\emph{例如，“小心移动”）和对环境中每个区域的视觉观察，CoRS 会得出对每个区域的考虑因素，例如“这个湿地板很滑，值得绕道而行。”然后，它会比较区域之间的考虑因素，以了解机器人应该更多地避免这两个区域中的哪一个，例如“人群比湿地板更糟糕。”这些判断将区域分类为常识性排名，其成本驱动传统搜索总是返回有效的路线。我们建立了潜在考虑下的规划基准，包括三个环境、1350 个问题和三个抽象级别的五个指令。实验表明，CoRS 发现了未阐明的考虑因素，并绕过了那些值得绕道而行的因素，同时跨越了其他因素，这是最近基于大语言模型的规划者无法实现的行为。