CLARITY：交互式 NL2SQL 系统中会话语言歧义性和不可回答性的框架和基准

在行业环境中部署的 NL2SQL 系统经常会遇到不明确或无法回答的查询，特别是在用户澄清不完整的交互场景中。现有的基准测试通常假设单一的模糊性来源，并依赖用户交互来解决问题，而忽略了实际的故障模式。我们引入了 Clarity，这是一个用于自动生成 NL2SQL 基准的框架，该基准具有多方面的模糊性和跨单轮和多轮设置的不同用户行为。使用约束驱动的管道，Clarity 将可执行 SQL 转换为模糊查询，并通过基础对话延续和模式级元数据进行增强。对Spider和BIRD的实证评估表明，领先的NL2SQL系统，包括那些基于强LLM的系统，在多方面的歧义下会遭受显着的性能下降。虽然这些系统经常检测到歧义，但它们很难准确定位和解析底层模式级源。我们的结果强调了在工业级 NL2SQL 系统中需要更强大的歧义检测和解决方案。