论文

值得信赖的基于大语言模型的机器人规划的风险意识语义基础

Risk-Aware Semantic Grounding for Trustworthy LLM-Based Robot Planning

智能体系统Agent 动作执行与治理

摘要

大语言模型 (LLM) 越来越多地用作机器人导航中的高级规划器,但当指令不明确、不受环境支持或语义不一致时,它们的输出可能会变得不可靠。本文提出了一个基于 LLM 的值得信赖的机器人规划的风险感知语义基础框架。与主要优化计划生成的现有基于大语言模型的规划器不同,我们将语义基础可靠性制定为多维风险估计问题。所提出的架构在规划发生之前通过歧义、幻觉和语义冲突风险明确地模拟基础不确定性,使系统能够决定是否执行指令、请求澄清或拒绝指令。为了评估该方法,我们引入了 TRUST-NAV,这是一个包含标准导航任务和引发风险的指令场景的基准。实验结果表明,虽然传统的 LLM 规划器在有效导航任务上取得了出色的性能,但所提出的框架极大地改进了歧义检测和语义冲突拒绝。这些发现表明,值得信赖的机器人规划不仅应该通过任务完成情况来评估,还应该通过识别何时不应执行的能力来评估。