揭露幻觉：大语言模型 中事实可靠性的因果图注意视角

本文主要关注人工智能语言模型（LLM）引起的幻觉。LLM 表现出了非凡的语言理解和生成能力。但它仍然有一个很大的缺点：幻觉，它给出的输出实际上不正确、具有误导性或没有输入数据的支持。这些幻觉在医疗诊断或法律推理等场景中会导致严重的问题。通过这项工作，我们提出了因果图注意网络（GCAN）框架，该框架通过解释 Transformer 架构内的内部注意力流来减少幻觉，并帮助构建结合自注意力权重和基于梯度的影响分数的 词元级 图。我们的方法使用称为因果贡献的新指标来量化每个标记的事实依赖性分数（CCS）。我们进一步引入了一个基于事实的图重新加权层，该层可以动态地减少生成过程中易产生幻觉的节点的影响。在 TruthfulQA 和 HotpotQA 等标准基准上进行的实验表明，与基线检索增强生成 (RAG) 模型相比，幻觉率降低了 27.8%，事实准确性提高了 16.4%。这项工作有助于未来 LLM 架构的可解释性、鲁棒性和事实可靠性。