论文
读论文,写代码:社会科学结果的智能体复现
Read the Paper, Write the Code: Agentic Reproduction of Social-Science Results
摘要
近期工作在同时可获取数据与代码的条件下,使用LLM智能体复现实证社会科学结果。我们拓宽了这一范围并追问:若只给定论文的方法描述与原始数据,它们能否复现结果?我们开发了一套智能体复现系统:从论文中提取结构化的方法描述,在严格的信息隔离下运行重新实现——智能体从不接触原始代码、结果或论文——并支持将复现输出与原始结果进行确定性的单元格级比较。一个错误归因步骤沿系统链条追溯差异以定位根本原因。在48篇经人工验证可复现性的论文上评估四种智能体脚手架与四个LLM,我们发现智能体能在很大程度上复原已发表结果,但性能在模型、脚手架与论文之间差异显著。根因分析显示,失败既源于智能体的错误,也源于论文本身的欠规范描述。
