论文

部分可观测环境中独立于生成器的运行时保证

Generator-Independent Runtime Assurance under Partial Observation

智能体系统Agent 动作执行与治理

摘要

基于提案的控制器——学习策略、语言模型规划器和其他黑盒生成器——越来越多地部署在运行时验证门后面。我们询问闭环安全保障何时与生成器脱钩。流行的每个候选人认证模式并不构成:在重试或 best-of-$k$ 选择下,每个候选人的错误录取级别 $\alpha$ 可能会膨胀到 $1-(1-\alpha)^{k}$。我们的主要定理表明,同时集合稳健性(证明一组不包含不可行动作的可接受提案)对于与生成器无关的 准入稳健性 是必要且充分的,这是执行不可行提案的所有生成器中最坏的情况,等于集合失败的概率;与设计时证书和无旁路规则一起,足以保证 合约安全,在任意甚至对抗性替换生成器的情况下,违反约束 $\Gamma+\sum_t\varepsilon_t+\eta$ 不变。第二个定理限制了部分观察下的每个准入机制:对于固定的探测和准入策略,如果其信息规律位于总变差距离$\delta$内的两个状态假设需要不同的安全决策,则$\abar+\beta+\delta\ge1$。顺序风险分类账使保证可以通过时间均匀置信管实现,并表明确定性准入计算将所有统计风险集中在状态估计中。单纯形式运行时保证和控制屏障函数过滤被恢复为退化情况。