论文
仅输出审查无法验证的内容:研究代理的研究合同
What Output-Only Review Cannot Verify: Study Contracts for Research Agents
摘要
人工智能生成的研究中的一些缺陷可以从其工件中识别出来;其他人则需要了解执行前批准的内容。我们提出研究合同,将声明的实验选择、运行义务和索赔范围与记录的执行证据结合起来,并将这种与合同相关的验证与科学真理区分开来。使用八个自行创作的干净/突变对的诊断说明了信息边界。确定性检查器将注册的、特定于故障的规则应用于批准和执行的对象,检测到所有八个注册的突变。在没有配对上下文或注册表选择的故障标签的情况下,在给定单个元数据过滤包的 18 个记录的判断别名中,144 个突变评估案例中的 104 个收到了缺陷标志;其余案件包括 32 票弃权和 8 票最终失败,对变异案件没有明确的明确决定。一些包保留了批准和执行字段,包括摘要。该提示指示法官在证据不足时弃权。这些结果表明了有意 信息不对称的发展环境;它们没有将权威信息的影响与任务规范和规则选择的差异隔离开来,也不是比较验证者质量或代理奖励黑客行为。我们将全信息比较、合法适应控制和闭环代理评估确定为合同检查是否提高优化下有用的合规完成的必要测试。