幻觉何时产生？路径复用与路径压缩演化的图视角

大语言模型（LLM）的推理幻觉常表现为流畅却缺乏支撑的结论，违背给定上下文或底层事实知识。尽管此类失效被广泛观察到，仅解码器（decoder-only）Transformer产生它们的机制仍知之甚少。我们将下一词元预测建模为在一张底层图上的图搜索过程，其中实体对应节点，学习到的转移构成边。由此视角，上下文内推理是在采样子图上的受约束搜索（内在推理），而无上下文查询则依赖底层图中记忆的结构（外在推理）。我们表明推理幻觉源于两种基本机制：路径复用（Path Reuse），即训练早期记忆知识压倒上下文约束；以及路径压缩（Path Compression），即训练后期频繁经过的多步路径塌缩为捷径边。这两种机制共同为LLM的推理幻觉提供了统一解释，并与下游应用中观察到的已知行为相关联。