潜在规划随规模而出现

LLM 可以执行看似计划密集型的任务，例如编写连贯的故事或功能代码，而无需明确地表达计划；然而，他们隐含计划的程度尚不清楚。在本文中，我们将潜在规划定义为当 LLM 拥有内部规划表示时发生，这些内部规划表示（1）导致特定未来词元或概念的生成，以及（2）塑造先前的上下文以许可所述未来词元或概念。我们研究了 Qwen-3 系列 (0.6B-14B) 的简单规划任务，发现潜在规划能力随着规模的增加而增强。计划模型具有代表计划单词（如“会计师”）的特征，并导致它们输出“an”而不是“a”；此外，即使是不太成功的 Qwen-3 4B-8B 也有新生的规划机制。在完成押韵对句这一更复杂的任务中，我们发现模型通常会提前识别押韵，但即使是大型模型也很少提前计划。然而，当将模型转向散文中的计划单词时，我们可以引出一些随着规模而增加的计划。总之，我们提供了一个衡量规划的框架以及模型规划能力如何随规模增长的机制证据。