LoopMTP：由潜在多词元预测引导的循环 Transformer

循环 Transformer 已成为一种参数高效的替代方案，可以替代深度推理以进行强推理。通过在 $T$ 迭代中重用一堆层，他们以固定的参数数量获得了较大模型的有效深度和推理能力。然而，现有的方法存在潜在的过度思考和无差别计算的问题，很大程度上是因为中间表示没有得到跨循环的指导。多词元预测（MTP）恰好提供了循环所缺少的密集的、前瞻性的监督。我们提出 \textsc{LoopMTP}，它通过潜在空间中的结构对应将两者联系起来：循环 $T$ 次的模型可以预测 $T$ 未来的词元。 \textsc{LoopMTP} 通过将循环 $t$ 的隐藏状态与词元 $t$ 的嵌入软对齐来实现这一点，而轻量级门则在迭代中保留有用的信息。 \textsc{LoopMTP} 与非循环基线相比，平均准确度提高了 8.1%（相对），并且训练在最多 15 个循环中保持稳定。