ReproRepo：通过 GitHub 存储库问题扩展再现性审核

从论文和发布的代码中复制研究结果是科学进步的核心。现有的工作已经引入了基准来评估 LLM 代理是否可以帮助实现可重复性，但由于它们依赖于大量的手动数据管理和评估，因此很难扩展。我们引入了 ReproRepo，这是一个用于再现性评估的可扩展框架，它利用人类提出的 GitHub 问题作为对现实再现拦截器自然发生的监督。我们在主要会议上的 1,149 篇最新机器学习论文上实例化了 ReproRepo，并评估了四种前沿模型代理配置。我们的结果表明，LLM 代理即使不执行代码，也可以从论文存储库对中识别许多现实世界的再现性问题：我们研究中最好的代理，即带有 GPT-5.5 的 Codex，为研究中 $\sim$90% 的论文提供了至少一个语义相关的人类报告的拦截器。进一步的分析表明，代理对于显示可见故障和识别正确的语义区域特别有效，但在精确定位方面可能仍然不够。 ReproRepo 可以作为一个可重用、可扩展的框架，用于未来 LLM 代理在现实世界再现性审核方面的评估。我们的代码发布于 https://github.com/LithiumDA/ReproRepo。