RAG还是学习？了解现实世界中持续知识漂移下 LLM 适应的局限性

大语言模型 (LLM) 在预训练期间获得了大部分知识，这将他们与世界的固定快照联系在一起，并使适应不断发展的知识变得具有挑战性。随着事实、实体和事件随着时间的推移而变化，模型可能会经历连续的知识漂移，不仅导致过时的预测，而且导致暂时不一致的推理。尽管持续微调、知识编辑和检索增强生成（RAG）等现有方法旨在更新或补充模型知识，但它们很少在反映时间顺序、不断发展和现实世界知识演变的环境中进行评估。在这项工作中，我们引入了现实世界动态事件的新基准，该基准是根据带时间戳的证据构建的，该证据捕获知识如何随时间演变，从而能够在连续知识漂移下系统地评估模型适应性。该基准测试表明，大多数现有方法（包括普通 RAG 和几种基于学习的方法）在这种情况下都举步维艰，暴露出灾难性遗忘和时间不一致等关键局限性。为了减轻这些限制，我们提出了一个时间感知的检索基线 Chronos，它逐步将检索到的证据组织到事件演化图中，以便在 LLM 中实现更时间一致的理解，而无需额外的训练。总体而言，这项工作为分析和推进 LLM 对现实环境中持续知识漂移的适应提供了基础。