论文
BAR：审计规则决策基准的参考答案和评分器
Follow the Policy, Fail the Benchmark: Auditing and Revising Policy-Based Decision Benchmarks
摘要
基于政策的决策基准评估系统是否将书面规则应用于财务和运营案例。然而，当基准错误地表述了所需的决策时，遵循规则的响应可能会被标记为错误。我们通过源头追踪、程序执行和受控检查来审核九个基于公共政策的决策基准。我们发现不受支持的目标、重播后仍存在或作为已解决步骤传播的参考错误，以及拒绝可接受答案或相信不完整决策的评估者。为了衡量评分影响，我们对未更改的模型响应进行重新评分。在 96 个 LegalBench SARA 数字案例中，在不改变参考或回答的情况下，纠正评分器可将三个模型中每个模型的接受度提高 80 个百分点以上。在 RuleArena Tax 中，恢复所需的零下限会更改 300 个参考中的 27 个，并缩小观察到的模型差距。具有明确所有权和资格假设的受控联邦豁免任务也表明，提供的中间答案中的错误可能会影响最终决策。我们提出了 BAR（基准审计和修订），这是用于重新评估的审计证据和修订版本的集合。
