论文

编码智能体可以复现科学机器学习论文

Coding-agents can replicate scientific machine learning papers

智能体系统Agent Harness

摘要

科学机器学习论文通常做出计算性声明——例如相对均方误差小于5%或95%预测可信区间覆盖测试数据。可以提示编码智能体仅凭论文材料复现这些声明——但提示本身不能可靠地保留进度或检查生成的证据是否支持论文声明。我们引入论文复现(Paper-replication)工作流——将每条选中的论文声明变成带记录证据的目标——并将其实现为编码智能体技能。该工作流让智能体记录这些目标、重建论文方法、运行计算实验、将生成的输出链接到溯源及与论文声明的比较、记录匹配证据在复现报告中的位置、并在完成前通过验证检查。我们在四篇科学机器学习论文的十二次独立运行上评估论文复现。全部十二个工作区通过完成门——全部158条记录目标被匹配且报告覆盖。即使在这种完成状态下,重复运行在论文如何划分为目标、对源论文的数值保真度、复现耗时、最终证据被接受前被替换的中间执行次数、以及用于接受证据的规则上各不相同。论文复现使完成取决于工作区证据与验证检查——而非智能体的最终消息。