论文
LiteCoder-Terminal:扩展学习语言代理的长期终端环境
LiteCoder-Terminal: Scaling Long-Horizon Terminal Environments for Learning Language Agents
摘要
掌握终端环境需要能够进行多步骤规划、基于反馈的执行和动态状态适应的语言代理。然而,训练此类代理目前因依赖外部存储库而遇到瓶颈,这限制了领域多样性、环境可控性和针对特定能力缺陷的目标。我们引入了 LiteCoder-Terminal-Gen,这是一个零依赖综合管道,可以直接根据域规范自动生成可执行且可验证的终端训练环境。使用该框架,我们构建了两个大型资源:LiteCoder-Terminal-SFT,包含跨 10 个领域的 11,255 个专家轨迹,以及 LiteCoder-Terminal-RL,具有 602 个可验证环境,用于轨迹级偏好优化。我们的 SFT 数据集上的 Qwen 系列模型的监督 微调 产生的代理显着优于其基础对应代理。值得注意的是,我们的 32B 变体在 Terminal Bench 1.0、2.0 和 Pro 上分别实现了 29.06%、18.54% 和 34.00% pass@1。此外,在我们的 RL 环境中应用直接多轮偏好优化 (DMPO) 可以带来额外的性能提升。这些结果系统地表明,完全合成的可执行环境为掌握复杂的真实命令行工作流程提供了可扩展且可验证的监督信号。