论文
审计审计:基准有效性审计的五种失败模式
Auditing the Audit: Five Failure Modes in Benchmark-Validity Audits
摘要
治理框架要求人工智能提供商和审计师提供书面评估证据,而基于扰动的构造有效性审计是该证据的常见形式。我们认为审计本身是脆弱的:他们的结论可以通过实施细节悄悄地制造出来,而读者在报告的数字中看不到这些细节。我们命名了五类管道故障,并在安全基准和开放权重指令调整模型的自我审核中演示了每一类。在统一的六点尽职调查门下,每个单元都落在非确认桶中,没有单元达到确认。这里的证据是一个单一的两个模型、五个基准的案例研究,F1--F5 是一个说明性的、故意非详尽的起始分类法——而不是审计失败的全面划分。我们将门定位为保证级证据的扣留和披露协议,补充(而不是替代)经典构造有效性证据,而不是作为基准有效性判决的途径。