稳定性成为负担：LLM语言结构的系统性崩溃

训练稳定性通常被视为大语言模型可靠优化的前提。在本工作中，我们分析稳定化训练动态如何影响由此诱导的生成分布。我们证明，在标准最大似然训练下，稳定的参数轨迹使平稳解近似最小化与经验分布的前向KL散度，同时隐式降低生成熵。其结果是，学习到的模型可将概率质量集中于经验众数的一个有限子集，尽管损失收敛平滑，仍表现出系统性退化。我们使用一个稳定化内部生成统计的受控反馈式训练框架对该效应进行实证验证，观察到跨架构和随机种子一致的低熵输出与重复行为。这表明优化稳定性与生成表达力并非天然一致，稳定性本身不足以作为生成质量的指标。