两个时钟和创新窗口：生成模型何时以及如何学习规则

在有限数据上训练的生成模型面临着一个根本性的张力：它们的分数匹配或下一个标记目标收敛于经验训练分布，而不是我们寻求学习的总体分布。使用规则有效的综合任务，我们在两个训练时间尺度上追踪这种张力：$τ_{\mathrm{rule}}$，世代首次变得规则有效的步骤，以及$τ_{\mathrm{mem}}$，模型开始再现训练样本的步骤。着眼于奇偶校验并扩展到其他二进制规则和组合难题，我们描述了这两个时钟 $τ_{\mathrm{rule}}$ 和 $τ_{\mathrm{mem}}$ 如何依赖于学习设置的关键方面。具体来说，我们表明 $τ_{\mathrm{rule}}$ 随着规则复杂性的增加而增加，并随着模型容量的增加而减少，而 $τ_{\mathrm{mem}}$ 对规则近似不变，并且与数据集大小 $N$ 几乎呈线性缩放。我们将\emph{创新窗口}定义为区间$[τ_{\mathrm{rule}}, τ_{\mathrm{mem}}]$。该窗口随着 $N$ 的增加而变宽，并随着规则复杂性而变窄，并且当 $τ_{\mathrm{rule}} \geq τ_{\mathrm{mem}}$ 时可能完全消失。扩散 (DiT) 和自回归 (GPT) 模型中都出现相同的双时钟结构，并具有依赖于架构的偏移。剖析 DiT 模型的学习分数揭示了优化景观的相应演变，其中规则有效样本的盆地在 $τ_{\mathrm{rule}}$ 附近大幅扩展，而训练样本的盆地开始在 $τ_{\mathrm{mem}}$ 附近占主导地位。总之，这些结果对生成模型何时以及如何展现真正的创新产生了统一的预测性说明。