通过动态认知​​协调解码缓解 LLM 中的上下文记忆冲突

大语言模型通过预训练积累了丰富的参数知识。然而，当过时或不正确的参数化知识与上下文中的外部知识发生冲突时，就会发生知识冲突。现有方法通过对比解码来解决知识冲突，但在无冲突场景中，静态方法会破坏输出分布。其他动态解码方法试图衡量冲突的程度，但仍然难以应对复杂的现实情况。在本文中，我们提出了一种称为动态认知协调解码（DCRD）的两阶段解码方法，以预测和减轻上下文记忆冲突。 DCRD 首先分析注意力图来评估上下文保真度并预测潜在的冲突。基于此预测，输入被定向到两个解码路径之一：(1) 贪婪解码，或 (2) 基于上下文保真度的动态解码。这种设计使 DCRD 能够高效处理冲突，同时在无冲突情况下保持高精度和解码效率。此外，为了模拟知识更新频繁的场景，我们构建了知识冲突 QA 基准 ConflictKG。在六个 QA 数据集上的四个 LLM 上进行的实验表明，DCRD 优于所有基线，实现了最先进的性能。