论文
Partial Evidence Bench:评测智能体系统中授权受限证据的基准
Partial Evidence Bench: Benchmarking Authorization-Limited Evidence in Agentic Systems
摘要
企业智能体日益在受限检索系统、委托工作流与策略约束的证据环境中运行。在这些 setting 中,访问控制可以被正确执行,而系统仍产出看似完整的答案——尽管关键证据位于调用者的授权边界之外。本文提出Partial Evidence Bench:测量该失败模式的确定性基准。基准包含三个场景族——尽职调查、合规审计与安全事件响应——共72个任务,附ACL分区的语料、oracle完整答案、oracle授权视图答案、oracle完整性判断与结构化差距报告oracle。它沿四个表面评估系统:答案正确性、完整性意识、差距报告质量与不安全完整性行为。内置基线显示:静默过滤在所有场景族中都是灾难性不安全的,而显式的「失败并报告」行为消除不安全完整性,又不把任务塌缩为琐碎弃答。初步真实模型运行显示:系统是过度宣称完整、保守低报还是以企业可用形式报告不完整,存在依赖模型、依赖场景的差异。该基准的更广泛贡献是使一个治理关键的智能体失败模式可被测量。