论文
Turnslide：以有限状态机合成可控的多轮工具对话
Turnslide: Scalable Multi-Turn Data Synthesis by Walking a Finite-State Machine
摘要
小语言模型的服务成本低廉，并且可以在私有基础设施上运行，但基础模型通常在多轮工具调用方面不够好，并且微调它们需要很少存在的每个 API 数据。现有的综合方法对于大规模微调来说过于昂贵，因为它们通常需要针对不同域的模拟操作环境以及每个生成的对话轮次的多个 LLM 调用。我们引入了一个完全自动化的轻量级综合框架，将每个 API 建模为有限状态机，将系统表示为抽象状态，确定何时可以调用每个工具，生成状态有效的工具序列；通过单个 LLM 调用将序列转换为完整的示例。我们没有优化多样性，而是针对轮数、工具顺序和任务复杂性设定了目标分布。我们通过微调 SLM 在生成的轨迹上测量数据质量，表明我们基于 FSM 的生成在未突变的基线上显着提高了下游精度，并且相对于现有的工作，达到 70.7% 的完全精度，超过 63.4% 和 53.7%，token 减少了 3.6-6.6$\times$。
