论文
教育部存在知识注入吗？探索 MoE 中的专家感知对比度解码以减轻 LLM' 幻觉
Knowledge Injection Exists in MoE? Exploring Expert-Aware Contrast Decoding in MoE for Mitigating LLMs'Hallucinations
摘要
现有的LLM幻觉缓解方法，包括即时工程和模型优化，要么很难改变模型的内部知识，要么跨域泛化性较差。对比解码通过使用 LLM 中的分层差异来减轻幻觉。然而，先前的研究仅探索基于 Transformer 的模型（例如 GPT），忽略了其他有效的框架，例如专家混合（MoE）模型。由于 MoE 改变了传统的 Transformer 架构，因此我们进行实证研究来调查 MoE 中是否存在类似的分层差异。我们的结果表明，教育部不存在共享专家的情况；然而，在不同的 MoE 中，较高层在事实和非事实输出之间表现出不同的专家激活模式。在此基础上，我们提出了 EAACD，这是一种专家感知的自适应对比度解码，它利用 MoE 较高层中的专家差异来减轻 QA 任务的幻觉。 EAACD 根据高级别专家的置信度和一致性将其分为可靠性较高的组和可靠性较低的组。它将较高可靠性组的预测与每个较低可靠性组的预测进行对比，以校准模型的原始预测。为了加强这种对比，EAACD 通过关注和掩蔽来放大来自可靠性较低的专家的幻觉，以提供更强的负面参考。 EAACD 在四个数据集上的表现优于所有基线。