论文
通过思维链微调优化面向 NL2SQL 的小语言模型
Optimizing Small Language Models for NL2SQL via Chain-of-Thought Fine-Tuning
摘要
将自然语言翻译为 SQL（NL2SQL）仍然是企业数据普惠化的关键瓶颈。尽管 Gemini 2.5 等大语言模型（LLM）已展现出令人瞩目的零样本能力，其高昂的推理成本限制了规模化部署。本文探索在大、小语言模型上针对 NL2SQL 任务进行微调的效果。我们的研究揭示出一个反直觉的规模现象。在标准数据集上微调大模型（Gemini 2.5 Flash/Lite）收益微乎其微，且常导致在复杂查询上过拟合。相反，小模型（Qwen）显示出显著收益。微调将小模型基线从 36% 提升至 45%，进一步用显式思维链（CoT）推理充实数据集后，准确率跃升至 54.5%（图 2）。虽然这仍低于 Gemini 2.5 等大模型的准确率，但它确实服务于大幅降低成本与推理延迟的业务目标，同时满足业务关键的性能准确率阈值。本文表明，迁移推理模式能让计算高效的小模型逼近生产级性能。
