论文
经自增强微调在Text-to-SQL中整合推理与泛化
Integrating Reasoning and Generalization in Text-to-SQL via Self-Enhanced Fine-Tuning
摘要
Text-to SQL 旨在将自然语言问题转换为结构化数据库上的可执行 SQL 查询，使非专家用户能够直观地访问数据。虽然大型语言模型 (LLM) 的最新进展在这项任务中显示出了希望，但现有的基于 LLM 的方法往往难以在强大的推理能力和强大的泛化能力之间取得平衡。为了解决这些限制，我们提出 CoTE-SQL 通过三个关键创新来增强基于 LLM 的文本到 SQL 的生成：（i）从 LLM 中提取的自我增强推理轨迹，无需人工注释，（ii）通过模块化分解和示例检索进行结构化思想链（CoT）提示，以及（iii）基于 SQL 执行反馈的错误感知修订。对 Spider 和 Bird 基准测试的大量实验表明，CoTE-SQL 在基于开源 LLM 构建的方法中实现了新的最先进的性能，在 Bird 上具有可比的模型大小（53.39% EX / 59.02 VES），并且在 Spider 上取得了强劲的结果（79.60% EX / 77.19 VES），在复杂查询方面的收益尤其显着。结果凸显了在基于 LLM 的文本到 SQL 设计框架中结合自我增强、结构化推理和执行时反馈的有效性。
