论文
R$^3$-SQL:文本转 SQL 的排名奖励和重采样
R$^3$-SQL: Ranking Reward and Resampling for Text-to-SQL
摘要
现代文本到 SQL 系统会生成多个候选 SQL 查询并对它们进行排名以判断最终预测。然而,现有方法面临两个限制。首先,尽管执行结果相同,但它们对功能等效的 SQL 查询的评分常常不一致。其次,当候选池中缺少正确的 SQL 时,排名无法恢复。我们提出 R$^3$-SQL,一个文本到 SQL 框架,通过统一排名和重采样奖励来解决这两个问题。 R$^3$-SQL 首先按执行结果对候选者进行分组,并对组进行排名以获得一致性。为了对每个组进行评分,它将跨组的成对偏好与来自最佳组排名和规模的逐点效用相结合,捕获相对偏好、一致性和候选质量。为了提高候选召回率,R$^3$-SQL 引入了代理重采样,它会判断生成的候选池,并在可能不存在正确 SQL 时选择性地重新采样。 R$^3$-SQL 在 BIRD-dev 上实现了 75.03 的执行精度,这是使用公开大小的模型的方法中的最新技术,在五个基准测试中具有一致的增益。