SQuaD-SQL：通过 LLM 引导的 知识蒸馏 使用小型语言模型实现高效的文本到 SQL

文本到 SQL 是自然语言处理中的一项基本任务，它使用户能够使用自然语言与结构化数据库进行交互。虽然 大语言模型 (LLM) 在此任务中表现出了卓越的性能，但其大量的计算要求阻碍了在资源有限的环境中的部署。在本文中，我们介绍了 SQuaD-SQL（Small-Qualified and Distilled for SQL），这是一种新颖的方法，使小型语言模型（SLM）能够在文本到 SQL 任务上接近 LLM 的性能，同时通过 知识蒸馏 和合成数据生成显着提高效率。我们的方法包括三个关键部分：（1）基于LLM的合成数据生成，通过精心设计的提示策略从LLM中提取结构化知识； (2) 参数高效的 微调，在单个消费级 GPU 上实现完整的 模型训练； (3) 领域自适应 微调，其中特定于领域的合成数据进一步增强了目标领域的性能。在 WikiSQL 数据集上的实验表明，SQuaD-SQL 在测试集上的执行精度达到 86.9%，接近 LLM 的性能，同时提供更快的推理和更低的内存占用。这些结果表明，通过适当的训练策略，SLM 可以作为资源有限环境中文本到 SQL 应用程序的实用且高效的替代方案。