CrossAudit：面向智能体科学研究的Git原生跨厂商审计循环

人工智能科学家不应该给自己的作业评分。然而，在我们检查的系统中，审查工作的代理通常与生成工作的代理来自同一模型系列，或者至少来自同一供应商。众所周知，模型评估者偏爱自己这一代人。经过类似训练的模型是否也存在盲点是一个推测，而不是一个确定的发现，但如果确实如此，审稿人继承了作者的观点。被标记的内容和被挥手通过的内容的记录通常位于平台日志中，外部任何人都无法重放。我们提出了 CrossAudit，一种用于监督自主研究流程的协议。它基于三项承诺。每个增量工作都由来自不同供应商的代理根据人类编写和版本控制的规则手册进行审核。举报、判决、争议和裁决都是git提交，因此监督历史可以重新阅读和引用；原始模型交换尚未包含在该记录中。脚本化检查在任何模型之前运行。咨询判断永远不会关闭管道：模型仅通过引用规则来阻止，并且没有模型可以放弃确定性失败。在有限次数的修改轮次中幸存下来的阻碍者将归个人所有。我们将协议描述为八个不变量。我们描述了一个由 GitHub Actions 和几百行 Python 构建的参考实现，并报告了计算化学管道中密切相关的变体的实时部署。我们还运行了种子缺陷试验（30 个增量，43 个种子缺陷，每个配置运行一次）。对我们自己的存储库进行的跨供应商审计随后使盲法失效。我们采纳该审计结果并报告更正结果。试验表明，两个供应商对同一规则手册的解读不同。它并没有表明哪一个更好。这里最有力的证据是本文本身的跨供应商审计的承诺的、不受控制的记录。