论文
AttnLink:将注意力转化为文本到 SQL 的模式链接
AttnLink: Turning Attention into Schema Links for Text-to-SQL
摘要
模式链接是文本到 SQL 系统的关键组成部分,但现有方法通常会权衡上下文建模能力、基于分数的可控性和推理效率。我们引入了 AttnLink,这是一个基于注意力的框架,它将 LLM 的内部注意力转换为模式项的连续相关性得分。 AttnLink 将注意力从生成开始位置提取到候选模式跨度,从而使所有候选者能够在单个预填充通道中进行排名,而无需自回归解码。我们开发了两种变体:AttnLink-U,它直接探测预训练的注意力而无需更新参数;AttnLink-S,它通过直接监督将注意力分布与标准数据库模式项对齐。为了提高多个相关模式项目的覆盖范围,AttnLink-S 将设定质量目标与自适应概率底正则化器相结合。所得分数支持通过温度缩放和累积质量选择进行事后精确召回控制。在 Spider、BIRD 和 Spider2-SQLite 上的实验表明,AttnLink-S 的 mAP 分数分别为 99.22%、95.95% 和 83.29%,具有毫秒级的模式链接延迟。它还在九个生成器数据集设置中的七个中为下游 SQL 生成提供最佳或并列最佳执行精度。