ART：提高 LLM 真实性的注意力替换技术

大语言模型 (LLM) 中的幻觉仍然是一个重大问题，特别是在回答问题等任务中，其中模型经常生成看似合理但不正确或不相关的信息。尽管已经提出了各种方法来减轻幻觉，但注意力模式和幻觉之间的关系尚未得到充分探索。在本文中，我们分析了 LLM 的每一层和注意力头的注意力分数分布，揭示了一个常见且有趣的现象：LLM 的浅层主要依赖于统一的注意力模式，其中模型将注意力均匀地分布在整个序列上。这种统一的注意力模式可能会导致幻觉，因为模型无法关注最相关的信息。为了缓解这个问题，我们提出了一种称为注意力替换技术（ART）的 无需训练 方法，该方法用局部注意力模式替换浅层中的这些统一注意力模式。这一变化引导模型更多地关注相关背景，从而减少幻觉。通过大量实验，ART 展示了多个 LLM 架构中幻觉的显着减少，证明了其有效性和通用性，而无需 微调 或额外的训练数据。