论文
D3-Gym:为数据驱动发现构建真实世界可验证环境
D3-Gym: Constructing Real-World Verifiable Environments for Data-Driven Discovery
摘要
尽管最近在科学数据驱动发现的语言模型和代理方面取得了进展,但由于缺乏代表现实世界科学任务的可验证环境,进一步提高其能力受到阻碍。为了填补这一空白,我们引入了 D3-Gym,这是第一个自动构建的数据集,具有用于科学数据驱动发现的可验证环境。 D3-Gym 包含 (1) 565 个任务,这些任务来自四个学科的 239 个真实科学存储库,其中 (2) 每个任务都配备了自然语言指令、具有预安装依赖项的可执行环境、输入数据集和工件预览、参考代码解决方案以及自动合成的评估脚本。对 D3-Gym 中验证信号质量的严格评估证实,我们的评估脚本与人工注释的黄金标准达到 87.5% 的一致性,并且在特定领域的评估逻辑中具有很强的一致性,显示出其科学合理性。此外,对从 D3-Gym 采样的轨迹进行训练在 ScienceAgentBench 上不同大小的 Qwen3 模型上产生了一致且显着的收益,将 Qwen3-32B 提高了 7.8 个绝对点,并大大缩小了与强大的专有模型的差距。所有 D3-Gym 工件(环境、创建工作流程、轨迹和模型)都可以在 https://github.com/OSU-NLP-Group/D3-Gym 中找到。
