这是你的最终答案吗？跨上下文一致性作为 LLM 可信度的衡量标准

大语言模型 (LLM) 是强大的黑匣子系统，因此很难辨别他们的答案是否反映了稳定的内部信念或表面的模式匹配。我们将跨上下文一致性视为 LLM 未充分利用的行为属性：当同一任务置于主题一致、内容中立的上下文变化下时，可信的答案应该保持稳定。基于这种直觉，我们通过比较原始提示和扰动提示下的模型生成来操作跨上下文一致性（C3）。在跨越推理、事实性和代码生成的 26 个模型和 6 个基准中，我们发现跨上下文变化较小的答案更有可能是正确或真实的。我们证明 C3 提供了一个补充的评估轴，并且可以作为基准有用性诊断，识别基准的哪些部分仍然提供信息，即使汇总分数被广泛认为“饱和”。