COAL-SQL：用于文本到 SQL 训练后的覆盖引导增强和故障驱动学习

文本到 SQL 将自然语言问题转换为可执行的 SQL 查询，但开源大型语言模型仍然需要特定于任务的后期训练来生成复杂的、真实的 SQL。有效的后训练需要涵盖目标任务所需能力的训练数据，以及使模型能够获得这些能力的学习策略。现有数据集提供了有价值的监督，但不完全覆盖 SQL 结构，而增强方法通常会在不识别结构差距的情况下扩展数据。此外，单独的监督微调（SFT）或强化学习（RL）无法动态解决训练过程中暴露的弱点。我们提出了 COAL-SQL，一个结合了覆盖引导增强（CGA）和故障驱动学习（FDL）的统一框架。 CGA 使用贪婪选择来识别原始数据集中缺失的 SQL 结构，并构建补充示例，从而提高结构覆盖率。 FDL 保留 GRPO 作为主要优化目标，同时为未解决的示例提供有针对性的监督。在步骤级别，它将 SFT 应用于由强大的 LLM 为累积失败生成的经过验证的推理跟踪。在epoch层面，根据积累的失败，检索结构相关的例子，创建有针对性的实践，帮助模型获得相应的SQL能力。仅通过 12,600 个不同的训练后示例，COAL-SQL 在 BIRD 开发集上即可实现 64.9% 的执行准确度，并且优于同等规模训练的基线。该代码可从此 https URL 获取。