论文

DSWorld:面向高效自主智能体的数据科学世界模型

DSWorld: A Data Science World Model for Efficient Autonomous Agents

智能体系统模型训练强化学习Agent 环境交互Agentic RL

摘要

尽管自主数据科学智能体在数据理解与决策上能力很强,它们仍严重依赖代价高昂的试错式工作流。这一瓶颈催生了能在真实执行前预判数据科学操作效果的模型。本文提出数据科学世界模型的概念:以当前工作流状态与候选操作为条件,预测环境状态转移,从而对数据科学执行环境建模。我们进一步提出DSWorld,一个结合结构化状态构建、成本感知路由、轻量真实执行与面向昂贵操作的LLM模拟器的实用框架。为支持训练,我们构建了8K规模的转移轨迹数据集,并提出反思式世界模型优化——一种误差感知的强化学习策略,用于改进转移预测。实验显示,DSWorld把基于RL的智能体训练加速约14倍、基于搜索的推理加速约3–6倍且保持有竞争力的性能,在转移预测任务上超过最强LLM基线35.6%。代码见https://anonymous.4open.science/r/DSWorld。

DSWorld:面向高效自主智能体的数据科学世界模型:论文配图
图 2:DSWorld 概述。 (a) DSWorld 在执行昂贵的计算之前预测数据科学操作的影响。 (b) 反射世界模型优化通过错误感知反射来完善下一状态预测。 (c) 大语言模型综合并验证数据科学状态转换并生成 CoT 轨迹。