知识蒸馏 用于低资源开源文本到 SQL 模型

文本到 SQL 将自然语言问题转换为可执行的 SQL 查询，使非技术用户能够访问关系数据库以进行分析和智能数据服务。在现实场景中，性能通常受到低资源设置的限制，其中高质量带注释的 \texttt{<question, SQL>} 对很稀缺，特别是对于特定于域的数据库。其他挑战包括不透明的模式定义、缩写以及未在模式中显式编码的隐式业务逻辑。现有的数据合成和提示技术可以提高覆盖范围，但通常无法生成与数据库约束一致的特定于任务的、基于语义的示例。为了应对这些挑战，我们提出了一个知识感知的文本到 SQL 框架，该框架构建特定于任务的知识库，包括模式语义、缩写、业务逻辑和查询模式，并将它们注入训练和推理中。该框架生成多样化的、基于上下文的合成训练数据，并通过有针对性的知识检索增强推理。对涵盖通用数据集和特定领域数据集的七个基准的实验表明，我们的方法大大提高了开源和闭源 大语言模型 在文本到 SQL 任务中的性能，特别是在资源匮乏的特定领域设置中，增强了泛化性、鲁棒性和适应性。