论文
永不产出数字:答案被当作事实消费的AI系统的结构性弃答
Never the Number: Structural Abstention for AI Systems Whose Answers Are Consumed as Fact
摘要
大语言模型让自然语言数据库接口(NLIDB)重新变得可信,但LLM text-to-SQL系统的失效方式对部署至关重要:一个幻觉出来的列名或一个聚合错误的合计,会产生一个流畅的错误答案,在使用现场与正确答案无法区分。当消费方无法检查生成的查询时——如企业AI部署和运营仪表盘,以及越来越多的情况下消费方是使用工具的Agent而非人类——仅靠准确率是不够的:没有任何标记指出哪些答案不可信。这是可靠性问题,先于准确率问题。我们为此类系统提出一种架构模式:带生成外壳的可信内核,其立足于一不变量:一个可能造假的组件可以影响系统回答哪个问题,但绝不能影响系统返回什么值。生成外壳解释欠规范的输入并组织回复措辞;确定性内核将完全规范化的问题匹配到一个有界的可答问题形状集合,并通过确定性执行编译为查询。二者在一个确认环节汇合,用户在任何值被计算之前阅读该确认;内核无法表达的请求将被拒绝而非近似作答。我们称之为结构性弃答,并将其与选择性预测和校准置信度的统计性弃答区分开:这里的拒绝无需置信度估计,因为不可回答的请求根本不可被表示。我们以实现无关的方式规定该模式,给出五项决策的配方并在三个领域落地,把该不变量从返回值扩展到Agentic系统的行动,并报告一项为期两年的生产案例研究以及两种生成式替代方案——微调解析器和工具检索Agent。最后我们与此前发布的企业级和可靠性基准进行对比收尾。