大语言模型在推理时规划中可能走出错误的第一步

大语言模型（LLM）已被证明在训练中习得序列级规划能力，但其在推理时展现的规划行为常常显得短视，且与这些能力不一致。我们提出一个贝叶斯式的解释来弥合这一差距，将规划行为锚定于不断演化的生成上下文：鉴于自然语言与 LLM 内化语言之间的细微差异，累积的自生成上下文会在推理期间驱动一次规划偏移，从而造成规划行为受损的表象。我们通过两个受控实验进一步验证所提出的模型：一个随机生成任务显示人类提示约束下的规划，以及随自生成上下文累积而增强的规划强度；一个高斯采样任务显示以自生成序列为条件时初始偏差减小。这些发现为刻画 LLM 在推理期间如何前瞻规划提供了理论解释与经验证据。