LoopUS：将预训练的 LLM 重铸为循环潜在细化模型

循环计算有望通过扩展测试时计算来提高 LLM 的面向推理的性能。然而，现有的方法通常需要从头开始训练循环模型或应用破坏性改造，这涉及大量的计算成本，并且可能会损害预训练的能力。为了解决这些限制，我们引入了 \textbf{Looped Depth Up-Scaling} (LoopUS)，这是一个 后训练 框架，可将标准预训练 LLM 转换为循环架构。作为一项关键技术贡献，LoopUS 将预训练的 LLM 重新改造为编码器、循环推理块和解码器。它通过四个核心组件来操作这种潜在的细化架构：（1）以分阶段表示动态为指导的块分解； (2) 依赖于输入的选择门，以减轻隐藏状态漂移； (3) 随机深度监督，用于长递归范围内的记忆高效学习； (4) 自适应提前退出的信心头。总的来说，这些机制将标准的非循环模型转换为循环形式，同时稳定它以应对计算瓶颈和表示崩溃。通过稳定的潜在循环，LoopUS 提高了面向推理的性能，而无需扩展生成的轨迹或需要从头开始进行循环训练。有关更多详细信息，请参阅 https://thrillcrazyer.github.io/LoopUS