论文

运行时的受管自主性:单与多Agent的齿轮式安全与治理

Managed Autonomy at Runtime: Gear-Based Safety and Governance for Single- and Multi-Agent Cyber-Physical Systems

智能体系统Agent 动作执行与治理Agent Harness

摘要

自主智能体——无论是LLM驱动的软件智能体还是机器人物理智能体——在无持续人类监督下运行时面临一类共同失败模式:来自未验证动作的安全违例、来自无约束循环的行为不稳定——以及来自未处理错误状态的连续性丧失。我们开发齿轮系统——离散时间控制系统——组合五个执行齿轮(观察、建议、规划、执行、干预)与效用门控派发及事件驱动回退。对单智能体情形——我们证明单调稳定性、执行安全、最终稳定、回退完备性——以及与齿轮约束马尔可夫决策过程的等价性。对多智能体信息物理系统(CPS)——我们应用既定的受管自治生命周期——将运行时证据映射到其四个治理状态(稳定/元控/辅助/监管)。共识门控、群体级Lyapunov分析、逐智能体齿轮权限与会合控制提供分布式安全与稳定保证——包括既定假设下的零碰撞。我们在三智能体UR5机器人装配单元上评估所得运行时——故障幅度以NIST机械臂位置精度退化测量数据集校准——跨10,000次蒙特卡洛episode。其异常检测率达99.6%(单智能体基线为2.1%)——检测延迟降低3.5倍——并提供正式的物理工作区安全证书。执行齿轮作为受管运行时治理状态之下的微级权限——将动作控制与自治治理分离。