论文
最后一篇人类撰写的论文:Agent-Native 研究文物
The Last Human-Written Paper: Agent-Native Research Artifacts
摘要
科学出版物将分支、迭代的研究过程压缩为线性叙述,丢弃了沿途发现的大部分内容。这个汇编施加了两个结构性成本:讲故事税,失败的实验、被拒绝的假设和分支探索过程被丢弃以适应线性叙述;以及工程税,其中审阅者足够的散文和代理足够的规范之间的差距导致关键的实施细节未成文。对于人类读者来说,这些成本是可以忍受的,但当人工智能代理必须理解、复制和扩展已发表的作品时,这些成本就变得至关重要。我们引入了 Agent-Native Research Artifact (ARA),该协议用机器可执行的研究包取代了叙述性论文,该研究包围绕四层构建:科学逻辑、具有完整规范的可执行代码、保留失败编译丢弃的探索图,以及原始输出中每项主张的证据。三种机制支持生态系统:实时研究管理器,用于捕获普通开发过程中的决策和死胡同; ARA 编译器,可将旧版 PDF 和存储库转换为 ARA; ARA 原生评审系统可自动进行客观检查,以便人类评审员可以专注于重要性、新颖性和品味。在 PaperBench 和 RE-Bench 上,ARA 将问答准确率从 72.4% 提高到 93.7%,将再现成功率从 57.4% 提高到 64.4%。在 RE-Bench 的五个开放式扩展任务中,ARA 中保留的故障跟踪可加速进度,但也可以根据代理的能力限制有能力的代理走出先前运行的框。我们的代码在 https://github.com/Orchestra-Research/Agent-Native-Research-Artifact 上开源。