论文
仅以合理的方式准确回答:代理系统的校准声明级特异性控制
Answer Only as Precisely as Justified: Calibrated Claim-Level Specificity Control for Agentic Systems
摘要
代理系统往往会失败,不是因为完全错误,而是因为过于精确:当特定主张超出了证据支持的范围时,响应可能通常是有用的。我们将这种失败模式作为过度承诺控制进行研究,并引入组合选择性特异性(CSS),这是一个后生成层,它将答案分解为声明,提出更粗略的退避,并以看似可接受的最具体的校准水平发出每个声明。该方法旨在将不确定性表达为局部语义退避,而不是整体答案拒绝。在完整的 LongFact 运行和 HotpotQA 试点中,经过校准的 CSS 改善了固定草稿的风险与效用权衡。在完整的 LongFact 运行中,相对于无 CSS 输出,它将过度使用感知效用从 0.846 提高到 0.913,同时实现 0.938 的特异性保留。这些结果表明,声明级特异性控制是代理系统的有用的不确定性接口,也是未来无分布有效性层的目标。