幻觉是一种异常现象：通过概率电路进行动态干预

大语言模型 中最关键的挑战之一是他们产生幻觉的倾向，即产生实际上不正确的反应。现有的方法在幻觉校正方面显示出有希望的结果，但仍然受到主要限制：它们不加区别地对每个标记进行校正，也破坏了最初正确的代。为了克服这个缺点，我们提出了 PCNET，这是一种经过训练作为 LLM 残差流上易于处理的密度估计器的概率电路。该方法将幻觉检测为事实流形上的几何异常，这是通过精确的负对数似然计算完成的，因此不需要像现有技术那样进行采样、外部验证器或权重修改。为了证明其有效性，我们利用 PCNET 作为动态门，在每个解码步骤中区分幻觉和实际隐藏状态。仅当潜在几何图形偏离实际区域时，这才会触发我们的第二个主要贡献，PC-LDCD（概率电路潜在密度对比解码），同时保持正确的生成不变。在从 1B 到 8B 的四个 LLM 模型以及涵盖会话推理、知识密集型 QA、阅读理解和真实性的四个基准测试中，PCNET 在 CoQA、SQuAD v2.0 和 TriviaQA 上实现了近乎完美的幻觉检测，AUROC 高达 99%。此外，与最先进的基线相比，PC-LDCD 在四个模型中的三个模型中在 TruthfulQA 上获得了最高的 True+Info、MC2 和 MC3 分数，同时将平均损坏率降低至 53.7%，保存率达到 79.3%。我们提出的方法已在 GitHub 上公开发布。