EntSQL：在长上下文企业知识中奠定文本到 SQL 基础的基准

文本到 SQL 支持自然语言访问数据库，最近的 LLM 大大提高了其功能。现有的基准测试（例如 Spider、BIRD 和 Spider~2.0）评估了模式泛化、大规模数据库和实际工作流程，但很大程度上忽略了 SQL 生成依赖于私有业务知识（例如内部指标、报告约定和组织规则）的企业场景。我们推出 EntSQL，这是一种面向企业的文本到 SQL 基准，用于评估专有业务文档的长上下文基础。 EntSQL 包含跨五个业务领域的 1,066 个对齐的中英文语义示例，其中大多数示例需要问题和模式之外的领域知识，并涉及复杂的 SQL 结构。在英文输入上，当提供长格式文档时，最佳评估系统仅达到 15.9％，这凸显了将 SQL 生成扎根于企业知识的难度。