论文

NEXUS:面向安全鲁棒具身规划的符号约束持续学习

NEXUS: Continual Learning of Symbolic Constraints for Safe and Robust Embodied Planning

智能体系统Agent 动作执行与治理

摘要

虽然大语言模型(LLM)促进了具身智能的进步,但其固有的概率不确定性与物理世界所需的严格决定论和可验证的安全性之间存在根本差距。为了缩小这一差距,本文引入了 NEXUS,这是一个专为实体代理持续学习而设计的模块化框架。与先前仅将符号工件视为静态界面的作品不同,NEXUS 利用它们进行符号基础和知识演化。该框架明确地将物理可行性与安全规范脱钩:通过闭环执行反馈来提高代理的能力,而概率风险评估则基于确定性硬约束,以建立严格的行动前防御。 SafeAgentBench 上的实验表明,NEXUS 实现了卓越的任务成功率,同时有效拒绝不安全指令,表现出对对抗性攻击的强大防御能力,并通过知识积累逐步提高规划效率。

NEXUS:面向安全鲁棒具身规划的符号约束持续学习:论文配图
图 1:NEXUS 概述。该框架将LLM与正式方法相结合,以实施安全可行的具体规划。流程:米色箭头追踪初始执行路径;紫色箭头表示知识演化的反馈循环;深绿色箭头说明了感知循环,将环境观察映射到场景图以更新规划者的信念状态。符号:带圆圈的整数XX标记主要逻辑步骤,双圆圈整数代表任务的最终过程。用于执行或反馈的子步骤用 X.iX.i 表示,而 Xp​jX_{p}j 表示 X 的第 jj 个并行进程。后缀“A”和“B”分别区分安全(任务 A)和不安全(任务 B)场景的路径;缺少这些后缀的步骤代表两者共享的通用过程。图标:OpenAI 图标标识利用 LLM 推理的模块。注意:PDDL Planner 组件的垂直对齐排列是为了强调状态 S3 和 S5 之间的逻辑等效性,而不是并发性。