ASSERT：GenAI 审计的测量管道

对生成式人工智能（GenAI）系统的审计通常将行为总结为报告率：被审计的系统遵守政策的频率。研究人员和利益相关者使用该比率来比较系统、跟踪回归和门部署。报告的比率反映了正在审核的系统及其背后的测量选择，因此比率的变化可能会让人不清楚系统或这些选择是否发生了变化。我们引入了 ASSERT，这是一种用于 GenAI 审计的规范驱动的测量管道，它将每个报告的速率与用于生成该速率的测量选择的书面规范联系起来。 ASSERT 帮助起草行为准则和测试用例，然后针对 GenAI 系统运行审核并返回报告的比率。在一个关于对话欺骗的案例研究中，我们观察到报告的比率随着对话设置、模拟用户、法官和不合规的证据栏而大幅变化。这些测量选择极大地改变了报告率，并且可以重新排列 GenAI 系统排名。由于每个报告的比率都与明确的规范相关，因此审计之间的差异更容易归因和解释。