论文
GROUND:通过受治理语义定义减少基于LLM的企业分析幻觉
GROUND: Reducing Hallucinations in LLM-Based Enterprise Analytics Through Governed Semantic Definitions
摘要
基于自然语言的企业数据仓库分析日益重要,但生产使用受限于幻觉指标、无效连接、错误粒度、不安全数据访问和无依据解释。现有text-to-SQL系统通常将生成锚定在数据库模式或检索到的文档上,而企业报告还需要受治理的业务语义:经过审批的指标、维度、连接路径、过滤器和行级安全。本文提出GROUND(Governed Retrieval Over Unified Normalized Definitions),一个将LLM生成的分析约束在受治理语义层内的框架。GROUND提供经过审批的定义,将用户意图绑定到受治理的指标和维度,并在执行前针对模式、指标、连接、粒度、过滤器、安全和成本规则校验生成的SQL,违规时重试或弃答。在一个100题的合成企业报告基准上,GROUND在共享同一模型的条件下与仅模式的直接text-to-SQL、模式RAG和仅语义锚定进行比较。GROUND是六个被评估类别中幻觉测量值全为零的唯一系统,而无治理系统在许多问题上违反行级安全。一个具有精确指标定义但无访问策略的仅语义条件仍然泄露数据,表明治理无法仅靠指标保真度替代。这些发现在真实美国NHTSA车辆安全数据上以独立人工撰写的金标准得到复现,并在来自三家提供商的四个模型上的对抗性集合上测试。GROUND强制执行的保证(尤其是过滤器和行级安全)在所有模型上零违规,而依赖判断的行为(如拒答未定义指标)仍可能出错。