解决推理差距：大语言模型 中基于机械电路的知识编辑

在现实动态环境中部署 大语言模型 (LLM) 提出了更新预训练知识的挑战。虽然现有的知识编辑方法可以可靠地修补孤立的事实，但它们经常遭受\textit{推理差距}的困扰，即模型回忆已编辑的事实，但无法在多步骤推理链中利用它。我们的分析表明，多跳推理依赖于直接事实回忆之外的稀疏电路，功能上不同的组件有助于中间处理和最终答案预测。为了弥补这一差距，我们引入了 MCircKE（\underline{M}echanistic \underline{Circ}uit-based \underline{K}nowledge \underline{E}diting），这是一个基于机械原理的框架，可以实现映射和适应编辑过程。 MCircKE 首先识别负责特定推理任务的因果电路，捕获事实的存储及其逻辑结果的路由。然后，它会专门更新该映射电路内的参数。 MQuAKE 系列基准的大量实验证明了所提出的知识编辑多跳推理方法的有效性。