LLM 中的事实检索是一个冗余、分布式和非连续的过程

大语言模型 (LLM) 存储和调用事实知识，但如何转换实体表示以实现特定属性检索的精确机制仍未得到充分探索。在这项工作中，我们通过“属性计算路径”的视角来研究这种机制——引出目标属性所需的实体表示的一系列计算步骤。然后，我们提出一个迭代修补协议来识别此计算所需的层的最小子集。将我们的方法应用于 LLaMA 3.1 8B 和 Qwen3 8B，我们发现这些路径是不连续的，通常会跳过层，并且模型对于同一实体和事实拥有多个功能等效的路径，突出了属性计算中的高度冗余。这意味着知识计算是高度分布式的，可能解释了本地化编辑不匹配的问题，并表明 LLM 中的知识存储和检索还远未得到很好的理解。