通过免费 8B 语言模型完全模拟的环境使工具学习民主化

强化学习（RL）已成为训练工具调用代理的流行范例，这通常需要在线交互环境。现有方法要么依赖带有 真值 注释的训练数据，要么需要高级专有语言模型 (LM) 来合成创建后保持固定的环境。在这项工作中，我们提出了 TRUSTEE，这是一种成本友好的方法，用于训练工具调用代理，其动态环境由免费开源 LM 完全模拟，可以小至 8B，包括任务生成、用户模拟、工具模拟和轨迹评估，并搭配在训练期间控制任务难度的自适应课程学习机制。我们的实证结果表明，在大多数情况下，TRUSTEE 的表现优于需要额外外部资源的基线。这些证实，通过足够复杂的设计，即使以本地 8B LM 作为骨干的模拟环境也可以为工具学习设定强有力的基线。我们希望我们提出的范例能够使工具学习民主化，并激发未来对有限资源下的环境扩展的研究。