ARCS：以结构化消歧评测精准Text-to-SQL

随着文本转 SQL 系统从演示转向实际部署，用户问题中的模糊性成为错误的主要来源。这种歧义通常是微妙的、特定于领域或数据的，并且可能默默地导致系统输出偏离用户的真实意图。传统上，通过对话澄清来解决歧义，这通常效率低下，认知要求高，并且与现实世界的用户工作流程不太一致。我们提出结构化消歧，这是一种新范式，通过明确的、受约束的交互而不是自由形式的对话来解决歧义。我们构建了 ARCS（SQL 歧义解析语料库），这是第一个文本到 SQL 基准测试，其特点是现实世界数据库中自然发生的、不受约束的歧义，并包含所有有效歧义点、解释和 SQL 查询的完整注释。实验结果表明，在存在歧义的情况下，文本到 SQL 仍然具有挑战性：gpt-6-sol 仅实现 51% 的端到端执行准确率，并且没有开源模型超过 27%。