每一步都很重要：工具集成的文本到 SQL 的步骤级贡献分配

工具集成的文本到 SQL 解析已成为一种有前途的范例，它将 SQL 生成构建为与工具执行交错的顺序决策过程。然而，现有的强化学习方法主要依赖于粗粒度的结果监督，从而导致了一个基本的贡献分配问题：即使中间步骤冗余、低效或错误，模型也会对产生正确答案的任何轨迹获得相同的奖励。因此，鼓励模型探索次优推理空间，从而限制了效率和泛化能力。为了解决这个问题，我们提出了 FineStep，这是一种在工具增强的文本到 SQL 中进行步骤级贡献分配的新颖框架。首先，我们引入具有独立过程奖励的奖励设计，以减轻结果监督的信号稀疏性。接下来，我们提出了一种步骤级贡献分配机制，以精确量化每个推理步骤的价值。最后，我们开发了一种基于步级优势的策略优化方法，以实现高效更新。 BIRD 基准测试的大量实验表明，FineStep 实现了最先进的性能并减少了冗余工具交互，在 4B 规模上比 GRPO 平均 EX 增益提高了 3.25%。