超越静态规则：自动发现文本转 SQL 中的潜在漏洞

虽然 大语言模型 (LLM) 在文本到 SQL 任务中取得了显着的成功，但它们在现实环境中的部署受到潜在可靠性问题的阻碍。识别这些潜在的弱点对于构建值得信赖的数据库接口至关重要，但当前的诊断方法严重依赖静态的、专家定义的规则，缺乏系统和自动化探索的能力。为了弥补这一差距，我们提出了 SAGE（系统自动引导探索），这是一种新颖的框架，旨在自动发现基于 LLM 的文本到 SQL 生成中的潜在故障模式。具体来说，SAGE 为给定样本生成漏洞假设，并参考不断发展的漏洞代码来设计有针对性的扰动，从而迭代验证和记录潜在缺陷。对最先进的开源 LLM 进行的大量实验表明，SAGE 发现了大量失败案例，凸显了当前模型的严重脆弱性。此外，我们的分析表明，漏洞代码库表现出很强的跨模型可转移性，表明所发现的模式代表了普遍的结构弱点。最后，我们探讨了 SAGE 的修复潜力。尽管初步的、轻量级的 微调 对生成的样本产生了有希望的改进，这表明了在未来工作中关闭可靠性循环的可扩展途径。