SQLStructEval：LLM 文本到 SQL 生成的结构评估

在文本到 SQL 任务中，大语言模型 可以生成结构不同的 SQL 查询，这些查询返回相同意图的正确答案。我们将这种现象称为“执行正确结构分歧”（ECSD）。我们引入了 SQLStructEval，这是一个通过规范的抽象语法树表示来分析此行为的框架。我们量化各代人的结构多样性和一致性。在多个文本到 SQL 数据集（包括 Spider、跨模型和数据集的文档 ECSD）上使用不同的 LLM 进行实验。此外，我们的实验表明，生成的查询对问题释义和模式表示很敏感。为了解决 ECSD，我们采用了一种管道，首先生成结构化中间表示，然后确定性地将它们编译为 SQL，从而提高执行准确性和正确输出之间的结构一致性。因此，结构分析提供了一个额外的诊断视角，补充了基于执行的评估。代码可在 https://xanderzhou2022.github.io/AACL2026-SQLSTRUCTEVAL/ 获取。