论文
规范文档问答中的版本与适用范围:生产系统端到端评测
Version- and Scope-Aware Question Answering over Normative Documents: A Deployed System and an End-to-End Evaluation at Production Scale
摘要
正确回答基于规范文档的问题,往往依赖单一段落之外的信息:检索到的文档是否为当前生效版本,是否适用于相关辖区、主体(如机构或申请人)与日期,以及每项规范性断言能否追溯到支持它的原文。托管检索服务大幅降低了在此类文档上构建初始系统的工程成本,使“上传文档然后提问”成为常见默认方案。我们在为一个生产部署提供的约73,000份候选规范文档上评估这一默认方案。评估从已发布基准中分层抽取200个问题,每题都有标准来源文档;公开的抽样规则不读取系统输出或评分。我们比较托管服务与在生成前通过显式规则解析版本和适用范围的受治理系统。受治理系统总体得分97.7,托管服务为88.1,按未四舍五入均值计算的差距为9.6分。问题集、两个系统实际被评价的回答文本、分数和复现所报基准统计的脚本均已公开。受治理配置自2026年1月起作为商业产品运行,服务1,126名注册用户;具名客户包括智谱AI和乐城健康。到2026年4月中旬,每个工作日调用量约为100,000次。
