通过几何调节在 LLM 生成中逃逸模式崩溃

模式崩溃是生成建模中的一个持续挑战，并出现在自回归文本生成中，其行为范围从显式循环到多样性的逐渐丧失和过早的轨迹收敛。我们采用动力系统观点，并将模式崩溃重新解释为“几何崩溃”导致的状态空间可访问性降低：在生成过程中，模型的内部轨迹被限制在其表示空间的低维区域。这意味着模式崩溃并不纯粹是 词元级 现象，并且不能通过符号约束或纯概率解码启发式可靠地解决。在这个观点的指导下，我们提出*强化模式调节*（RMR），一种轻量级的在线状态空间干预，调节 Transformer 值缓存中的主导自我强化方向（实现为低秩阻尼）。在多个 大语言模型 中，RMR 大大减少了模式崩溃，并能够以极低的熵率（低至 0.8 纳特/步）实现稳定生成，而标准解码通常会在接近 2.0 纳特/步时崩溃。