TSBPO以树状采样和局部信用分配训练交互语言Agent

根据任务终局结果训练交互式语言智能体，会遇到三个相互耦合的问题：应采样哪些任务及状态续接轨迹，如何将延迟反馈归因到决策，以及如何聚合由多个 token 构成的动作的 token 损失。我们提出 TSBPO，一种树结构的“从采样到更新”范式，在同一训练循环中处理这些问题。基于似然拟合的根节点/分支分配器利用保留的任务和状态证据，在固定 rollout 预算下，优先采样可能产生不同终局结果的续接轨迹。在由此得到的回放实体树上，轨迹优势比较直接相邻的兄弟片段，而观测分组的步骤优势则比较任务与观测状态相匹配时的结果。随后，策略模型在每个完整响应内对裁剪后的 token 代理目标求和，并在有效交互轮次之间归一化，避免在策略梯度项中按响应长度取平均。使用 Qwen2.5-1.5B 策略模型时，固定检查点在 ALFWorld 的已见和未见任务上分别取得 97.79% 和 96.64% 的随机执行成功率；在 WebShop 的 500 个测试目标上，每个目标随机执行六个回合，单回合成功率为 81.07%。在同样的第 100 次更新评估中，消融 WebShop 的步骤项后成功率为 75.93%；ALFWorld 的聚合方式对比显示，完整轮次加权可提高实际观测到的命令有效率。这些结果支持了该训练配置在这两个交互式基准上的有效性。