微调可修正大模型的模式坍塌与过度离散

摘要

Doshi和Hauser（2024）、Bisbee等（2024）、Xie等（2026）的研究担忧大模型输出多样性不足，比其代表的人群更常重复或相似，即模式坍塌。我们说明，发生坍塌还是相反现象取决于模型与数据集；足够监督微调数据可使输出多样性趋向数据采样自的目标分布。我们以固定提示下独立采样两次响应相同的碰撞概率，或核函数下期望相似性量化比较，推导模型与目标碰撞概率期望差距的偏差—方差分解。SFT并非天然偏向坍塌或相反现象，有限样本可使模型过度集中或离散，取决于模型和数据。我们进一步证明绝对差距受目标到模型KL散度平方根约束，因此总体交叉熵足够接近最优的模型，不会有任意严重的多样性失准。我们在合成语言小型Transformer、四个在人类调查上微调的大模型、以及这些模型在人工代码解答CodeNet上的微调中测试分解与界。所有实验中更多目标数据都使多样性趋近人类或合成目标水平，与理论一致，说明失准可来自有限样本误差，并随SFT更好逼近目标分布而缩小。