LLM 控制机器人系统的预执行安全门和任务安全合同

大语言模型 (LLM) 越来越多地用于将任务命令转换为机器人可执行代码，但是该管道缺乏验证门来在将命令转换为机器人代码之前检测不安全和有缺陷的命令。此外，即使一开始看起来安全的命令在缺乏连续约束监控的情况下也可能在执行过程中产生不安全的状态转换。在这项研究中，我们引入了 SafeGate，这是一种神经符号安全架构，可以防止不安全的自然语言任务命令到达机器人执行。 SafeGate 借鉴 ISO 13482 安全标准，从自然语言命令中提取结构化的安全相关属性，并应用确定性决策门来授权或拒绝执行。此外，我们还引入了任务安全契约，它将通过门的命令分解为不变量、保护和中止条件，以防止执行期间发生不安全的状态转换。我们进一步结合 Z3 SMT 解决方案来强制执行源自任务安全契约的约束检查。我们根据现有的基于 LLM 的机器人安全框架和基线 LLM 在 230 个基准任务、30 个 AI2-THOR 模拟场景和真实机器人实验中评估 SafeGate。结果表明，SafeGate 显着减少了对有缺陷命令的接受，同时保持了对良性任务的高度接受，这证明了预执行安全门对于 LLM 控制的机器人系统的重要性