SAP：带参数来源约束的状态引导多轮工具数据合成

摘要

高质量的多轮工具使用数据对于训练智能体模型至关重要，但现有的数据合成方法往往不足以代表对长期工具使用至关重要的参数级依赖关系。因此，即使模型选择了正确的工具，任务执行仍然可能失败，因为模型用捏造的、过时的或弱基础的值填充工具参数。为了解决这个问题，我们提出带有参数来源的状态引导数据合成（SAP）。 SAP 结合了状态指导、工具参数来源约束和轮次验证，以有效地构建具有远程依赖性和高精度的工具使用轨迹。使用 SAP 生成的数据，我们构建了 SAP-4B，即使与跨多个基准的更大模型相比，它也具有很强的竞争力。源代码、合成数据和训练权重可在此 https URL 获取。

SAP：带参数来源约束的状态引导多轮工具数据合成：论文配图 — 图 2：SAP 管道概述。从左到右，𝒜FSM\mathcal{A}_{\text{FSM}} 根据工具文档和采样的初始状态构造 FSM，管道从中采样状态轨迹。 𝒜plan\mathcal{A}_{\text{plan}} 用具体参数填充标记调用 Tool⁡(tag)\mathrm{Tool}(\mathrm{tag})，生成 Tool⁡(p)\mathrm{Tool}(p)，并使用 ε\varepsilon 执行它们，使用环境回滚和失败时本地重试。最后，𝒜msg\mathcal{A}_{\text{msg}} 合成已验证轨迹的消息，并将其过滤到最终数据中。每个参数都分配有来自 {Pi,Po,Pc,Pu,Pf}\{P_{i},P_{o},P_{c},P_{u},P_{f}\} 的来源。