追踪知识传播的极限：LLM如何在知识冲突的多步推理中失败

缓解大语言模型（LLM）中过时或错误信息的常见方案，是通过上下文或知识编辑提供更新事实。然而，当知识更新未能覆盖模型参数化知识时，这些方法引入知识冲突，并传播到错误推理。然而，当前针对该问题的基准大多只关注单次知识更新与事实回忆，不评估这些更新如何影响下游推理。在本工作中，我们提出 TRACK（Testing Reasoning Amid Conflicting Knowledge），一个研究 LLM 在新知识与模型初始参数化知识冲突时如何把它传播到多步推理的新基准。TRACK 覆盖三个推理密集场景（WIKI、CODE 与 MATH），引入多重、现实的冲突以反映真实世界复杂性。我们在 TRACK 上的结果显示，向模型提供更新事实进行推理，可能比不提供任何更新事实更糟，且随着提供更多更新事实，性能退化加剧。我们表明这一失败既源于无法忠实整合更新事实，也源于即使知识已整合时推理仍有缺陷。TRACK 提供一个严格的新基准，用于测量并引导未来在多步推理中传播冲突知识的进展。