论文

缩小跨方言差距:查询计划作为文本到 SQL 的可移植接口

Closing the Cross-Dialect Gap: Query Plans as a Portable Interface in Text-to-SQL

摘要

文本转 SQL 系统通常在单一方言 (SQLite) 上进行训练和评估,但生产部署涵盖 PostgreSQL、MySQL、ClickHouse 等。我们证明,这种单一方言假设会导致我们测试的每个模型的跨方言准确性大幅下降。这种下降在规模、架构、甚至专门构建的文本到 SQL 系统中都持续存在。我们认为解决方案是更改生成目标:我们不要求 LLM 发出特定于方言的 SQL,而是让它发出与方言无关的关系代数查询计划,然后由确定性编译器将其呈现为任何支持的后端的 SQL。在从 3B 到前沿规模的 13 个模型中,这几乎一致地恢复了跨方言的可移植性,但在模型的本地方言上以较小的代价实现了有能力提示的模型的峰值准确性,并且没有一个在计划中进行过微调;在匹配的微调下,计划监督产生比 SQL 监督更强大的模型。我们还引入了 MetricName,一个问题感知结果集比较器,需要公平地评估跨方言,其中现有指标将语义错误与良性跨方言变化混为一谈。更广泛地说,结果提醒人们,选择执行的发电目标不一定是最大化发电质量的目标。