作为文化进化的模型崩溃

模型崩溃，即根据自己的输出训练的 LLM 的逐渐退化，已经在统计上得到了表征，但缺乏语言解释来解释哪些结构退化、以什么顺序退化以及为什么退化。我们证明文化进化的迭代学习理论填补了这一空白。我们得出了五个可证伪的预测，将那些对理论具有独特区分性的预测与验证性的预测区分开来，并通过用英语、德语和土耳其语对 LLaMA-2-7B 和 Mistral-7B 进行 10 代以上的自我训练来测试它们。关键的判别发现：在未经过滤的自我训练下，组合性遵循非单调轨迹（最初上升，然后下降）。该签名在最大规则种子数据（排除噪声消除）下持续存在，并且仅通过基于任务的过滤（而不是随机过滤）来维持，为压缩通信权衡提供了第一个 LLM 规模的证据。所有预测均以较大的效应量得到证实（Hedges' $g > 1.6$；$\mathrm{BF}_{10} > 100$），并且 LLM 正则化梯度与人类行为数据密切匹配（$R^2 = 0.94$）。这些结果将模型崩溃重新定义为一种文化传播现象，并为自我训练管道设计提供了具体原则。