逐步信息性假设：为什么熵动力学和推理在 LLM 中相关？

最近的工作使用多个表示级别的基于熵的信号来研究 大语言模型 中的推理，但该领域在很大程度上仍然是经验性的。一个未解决的核心难题是，为什么在模型的预测分布下定义的内部熵动力学与 真值 答案给出的外部正确性如此紧密地相关。在本文中，我们认为这种相关性的出现是因为自回归模型在通过答案信息前缀积累有关真实答案的信息时能够正确推理。我们通过逐步信息性假设（SIA）形式化了这种直觉，该假设指出，随着生成的进展，推理前缀会累积与答案相关的期望信息。我们表明，SIA 自然地从人类推理轨迹的最大似然优化中产生，并通过标准 微调 和强化学习管道得到加强。然后，我们得出将条件答案熵动力学与正确性联系起来的 SIA 的可观察签名。我们在多个推理基准（GSM8K、ARC、SVAMP）和一组不同的开放权重 LLM（Gemma-2、LLaMA-3.2、Qwen-2.5、DeepSeek 和 Olmo 变体）上对 SIA 进行了实证测试，表明训练会诱导 SIA，并且正确的痕迹表现出特征条件答案熵模式。