LLM 中用于时间评估和知识更新的合成世界

大语言模型 (LLM) 依赖于静态预训练语料库，导致其知识随着时间的推移而变得过时。评估知识编辑的现有方法要么受到快速污染，要么依赖与严格的现有知识相冲突的反事实编辑。在这项工作中，我们提出了一个综合的、模拟驱动的框架来研究 LLM 中的知识插入。我们引入了 {\sc ParallelEvents}，一个虚构但现实的未来世界的基准，它生成连贯的事件轨迹以进行受控评估，避免污染，同时保持一致性。在此数据集的基础上，我们开发了 {\sc Synapse}，这是一个训练框架，它使用模型生成的数据通过训练中期和指令调整来更新模型参数。这种合成管道可以实现可扩展的知识集成，而无需昂贵的人工管理数据。根据经验，{\sc Synapse} 的性能优于现有方法 14.23\%，这表明基于模拟的综合训练可以实现稳健且连贯的知识插入。