PLDR-LLM 在自组织临界态下进行推理

我们表明，在自组织临界态下预训练的 PLDR-LLM 在推理时表现出推理能力。PLDR-LLM 演绎输出在临界态下的特性类似于二阶相变。在临界态下，关联长度发散，演绎输出达到亚稳稳态。这种稳态行为表明，演绎输出从训练数据集中学到等价于标度函数、普适类和重正化群的表示，并在此过程中获得泛化与推理能力。随后我们可以从模型推理时演绎输出参数的全局统计量定义一个序参量。当 PLDR-LLM 在临界态下的序参量接近零时，其推理能力更强。这一观察得到在近临界与亚临界条件下训练的模型基准分数的支持。我们的结果为推理如何在大语言模型中显现提供了一个自洽的解释，并且推理能力可以仅凭稳态下演绎输出的全局模型参数值来量化，而无需通过归纳输出在精心整理的基准数据集上进行推理与理解能力评估。