CORA：用于受保护的移动 GUI 自动化的保形风险控制代理

由视觉语言模型 (VLM) 提供支持的图形用户界面 (GUI) 代理正在迅速从被动协助转向自主操作。然而，这种不受限制的行动空间使用户面临严重且不可逆转的财务、隐私或社会伤害。现有的防护措施依赖于及时的工程、脆弱的启发式方法，并且 VLM 作为批评者缺乏正式的验证和用户可调的保证。我们提出 CORA（COnformal Risk-driven GUI智能体），这是一个政策后、行动前的保障框架，可为有害的执行行动提供统计保证。 CORA 将安全性重新定义为选择性行动执行：我们训练 Guardian 模型来估计每个提议步骤的行动条件风险。我们不是对原始分数进行阈值处理，而是利用保形风险控制来校准满足用户指定的风险预算的执行/放弃边界，并将被拒绝的操作路由到可训练的诊断模型，该模型对被拒绝的操作执行多模式推理以推荐干预措施（例如，确认、反映或中止），以最大限度地减少用户负担。目标锁定机制将评估锚定在明确的、冻结的用户意图上，以抵御视觉注入攻击。为了严格评估这种范式，我们引入了 Phone-Harm，这是一种新的移动安全违规基准，在现实环境下具有阶梯级伤害标签。针对电话危害的实验和针对不同基线的公共基准验证 CORA 改善了安全性-有用性-中断帕累托边界，为自主 GUI 执行提供了实用的、基于统计的安全范例。代码和基准可在 cora-agent.github.io 上获取。