沙丘社区
论文

CM2：以清单奖励进行多轮多步Agentic工具使用的强化学习

CM2: Reinforcement Learning with Checklist Rewards for Multi-Turn and Multi-Step Agentic Tool Use

Zhen Zhang, Kaiqiang Song, Xun Wang, Yebowen Hu, Weixiang Yan, Chenyang Zhao, Henry Peng Zou, Haoyun Deng, Sathish Reddy Indurthi, Shujian Liu, Simin Ma, Xiaoyang Wang, Xin Eric Wang, Song Wang
模型训练强化学习Agentic RL

摘要

AI智能体日益被用于通过多轮用户交互推理并调用外部工具来解决现实任务。然而，将强化学习应用于此类设置仍然困难：现实目标常常缺乏可验证奖励，转而强调开放式行为；此外，针对多轮、多步Agentic工具使用的RL仍未被充分探索；而且构建和维护可执行工具环境成本高昂，限制了规模与覆盖面。我们提出CM2，一个用清单奖励替代可验证结果奖励的RL框架。CM2将每一轮的预期行为分解为带明确证据锚定和结构化元数据的细粒度二元判据，把开放式评判转变为更稳定的分类式决策。为平衡稳定性与信息量，我们的方法采用稀疏奖励指派但密集评估标准的策略。训练在可扩展的LLM模拟工具环境中进行，避免为大型工具集付出沉重工程代价。实验表明，CM2持续优于监督微调。从8B Base模型出发、在8k样本的RL数据集上训练，CM2相对SFT对应模型在tau^-Bench上提升8分，在BFCL-V4上提升10分，在ToolSandbox上提升12分。结果与同等规模的开源基线相当甚至更优，包括评判模型。因此，CM2提供了一个不依赖可验证奖励来优化多轮、多步工具使用智能体的可扩展配方。代码由开源社区提供：https://github.com/namezhenzhang/CM2-RLCR-Tool-Agent 。

CM2：以清单奖励进行多轮多步Agentic工具使用的强化学习
图1：我们的 CM2 概览。从多轮、多步的工具使用轨迹出发，我们进行数据过滤、CoT 压缩和冷启动 SFT，然后基于有证据支撑的二元评判标准和结构化元数据为每一轮标注清单（checklist）。RL 训练在一个由 LLM 模拟的工具环境中进行，其中 LLM 模拟器生成工具响应，并由 LLM-as-a-Judge 评估清单条目以计算奖励。底部面板对比了密集的评判标准粒度与不同分配粒度下的稀疏奖励分配。