论文
含噪LLM预言机下全局一致性检查的基础
Foundations of Global Consistency Checking with Noisy LLM Oracles
摘要
确保自然语言事实集合全局一致,对事实核查、摘要与知识库构建等任务至关重要。虽然大语言模型(LLM)可以评估小子集事实的一致性,但其判断带有噪声,且成对检查不足以保证全局连贯。我们形式化该问题并证明,验证全局一致性在最坏情况下需要指数级多次预言机查询。为使任务可操作,我们提出一种自适应分治算法,识别事实的最小不一致子集(MUSes),并可选地通过命中集计算最小修复。我们的方法具有低次多项式查询复杂度。在合成预言机与真实 LLM 预言机上的实验表明,我们的方法能高效检测并定位不一致,为使用基于 LLM 评估者的语言一致性验证提供了可扩展框架。
