CURA：面向计算机操作智能体的可认证运行时告警

自我报告是部署者拥有的最便宜的监督渠道，而在有能力的计算机使用代理 (CUA) 上，它恰恰在监督重要的地方失败了。在 361 个 OSWorld 任务中，我们的管道、只读可行性门、规划器和 GUI 执行器的平均任务得分为 82.9，高于人类参考值 72.4，但其 71 次失败中有 64 次（90%）以成功声明结束，其中 61 次确认没有阻止程序，并且在大约 9,100 次调用中从未使用显式失败启示。我们引入了 CURA（计算机使用代理的认证运行时警报），这是一种外部监视器，仅读取Harness可见的遥测数据，没有模型内部结构、额外的 LLM 调用或提示更改，并将运行轨迹转变为具有经过认证的误报控制的顺序测试。在 alpha = 0.10 时，其 CUSUM 警报在终止前以 0.066 的实际误报率检测到 42.3% 的故障（中位数为 31 个步骤），并且风险在第一次采取行动之前可以部分解决（门探针，0.69 AUROC）。回顾起来，该组合达到了 0.828 AUROC（折叠内部下限 0.802），但其相对于总token基线的利润并不显着（Delta = +0.026，p = 0.101）；分离是在网上进行的，CURA 在匹配的认证预算下召回了更多：在 alpha = 0.10 时为 0.41 与 0.34，在 alpha = 0.20 时为 0.56 与 0.38。警报门控的中间执行监督恢复了 70 个故障中的 23 个，同时在 38 个故障上花费了前沿监督员，从而使可部署级联的平均得分为 86.8，完全解决率为 84.5%（361 中的 305）。该证书仅限制误报。我们还报告行为监测无法提供信息的情况。