LoopCoder-v2：仅循环一次即可实现高效的测试时间计算扩展

循环 Transformer 通过重复应用共享块来扩展潜在计算，但顺序循环会随着循环计数而增加延迟和 KV 缓存内存。并行循环 Transformer (PLT) 通过跨循环位置偏移 (CLP) 和共享 KV 门控滑动窗口注意力来减轻这种成本，使循环计数成为实用的设计选择。因此，我们通过增益-成本视图来研究 PLT 循环计数选择：额外的循环可以改进表示，但 CLP 也会在每个循环边界引入位置不匹配。我们通过在 18T 词元上从头开始训练 LoopCoder-v2（一系列具有不同循环计数的 7B PLT 编码器）来实例化这项研究，然后进行匹配的指令调整和评估。根据经验，两循环变体在代码生成、代码推理、代理软件工程和工具使用基准方面比非循环基线提供了广泛的收益，将 SWE-bench Verified 从 43.0 点提高到 64.4 点，将 Multi-SWE 从 14.0 点提高到 31.0 点。相反，具有三个或更多循环的变体会回归，揭示出强烈的非单调循环计数效应。我们的诊断显示，循环 2 提供了主要的生产性改进，而后面的循环则产生递减的振荡更新并减少了表征多样性。由于随着细化增益的缩小，CLP 引起的不匹配仍然大致固定，因此抵消成本越来越占主导地位。这种增益-成本权衡解释了 PLT 在两个循环处的饱和，并为循环计数选择提供了诊断。