大语言模型 解决上下文知识冲突

大多数先前的工作都集中在 LLM 的内部参数知识和外部提供的上下文之间的冲突。相反，我们研究 LLM 如何处理上下文知识本身中出现的冲突。我们引入了六种类型的上下文冲突（事实冲突、推理冲突、时间冲突、粒度冲突、透视冲突和模糊性）的分类法，并为此设置提供了一个全面的数据集 ContextConflict。该数据集包含 5,781 个样本，涵盖推理和摘要任务，并且包含需要多步推理的显性矛盾和隐性冲突。对 9 个 LLM 的实验表明，当前模型在解决上下文知识冲突方面仍然存在不足。我们进一步提供了 LLM 如何处理此类冲突的机械可解释性见解，揭示了他们对冲突的潜在意识以及冲突处理背后的表征几何。此外，我们的分析揭示了对早期证据的一致模型偏见，而这种立场偏好是有效解决冲突的关键障碍。受这些发现的启发，我们进一步提出了一种简单的 无需训练、无标签引导方法，该方法引导激活以鼓励更全面地合并证据，以更好地解决冲突。在我们的数据集上，该方法不断提高推理任务的准确性，并为摘要任务生成更高质量、更平衡的摘要。