前缀滑动可有效扩展测试时间

测试时间扩展使用额外的测试时间计算来提高性能，例如让语言模型在解决问题时推理更长时间。由于模型通过充分注意将整个推理轨迹保留在内存中，因此需要长时间思考的艰巨任务可能会非常昂贵。然而，我们发现随着模型继续推理，大多数中间推理标记失去了重要性。这就让人质疑留住他们是否值得付出代价。基于这种见解，我们提出了前缀滑动，它在推理过程中丢弃不属于前缀或最后几千个词元窗口的词元。前缀包含模型可用的关键指令和工具，而最新的标记是模型正在处理的当前推理。无论模型推理多长时间，这都会限制总内存需求，从而实现高效的长范围测试时间扩展。无需训练，Prefix Sliding 即可使现有模型速度提高 3 倍，同时保持性能。使用强化学习进行前缀滑动训练可以通过扩展至超过十万个标记的推理轨迹来实现更好的性能。消融显示前缀滑动优于总结中间标记或普通滑动窗口。我们的代码位于 https://github.com/Muennighoff/prefix-sliding