论文
代理Harness:LLM 驱动的机器人自主验证层
Agentic Harnesses: LLM-Driven Verification Layers for Robot Autonomy
摘要
先进人工智能工具的进步引发了对机器人自主性的研究,但此类系统的开发主要侧重于执行,而不是验证规划模型提出的可行性行动。与通用 LLM 一样,机器人规划模型也存在风险:偏向于用户指定的目标,它们可能建议不符合科学道德的行动,它们可能由于无法“记住”先前的安全风险而不安全,或者它们可能容易受到对自治生态系统的对抗性攻击。我们提出在规划和执行之间建立一个 LLM 驱动的验证层来评估操作的可行性。我们的 LLM-as-a-Judge 集成结合了跨模型的思想链推理,并综合了这些专家法官的输出,反映了专家和自洽方法的结合。该层充当中间件,在计划到达 MCP 服务器之前对来自服务器计划模块的计划进行门控,从而实现机器人的底层控制:计划被批准、拒绝重新制定或升级以供人工审核。通过这个系统,我们在接受/升级/拒绝类别上实现了近 85% 的精度,对对抗性攻击的遏制达到了 97%,接受和拒绝任务之间的错误可以忽略不计,并且错误主要出现在升级边界。