论文
减少您的损失!学习尽早修剪路径以实现高效的并行推理
Cut Your Losses! Learning to Prune Paths Early for Efficient Parallel Reasoning
摘要
并行推理增强了大型推理模型 (LRM),但由于早期错误导致无效路径,因此会产生过高的成本。为了缓解这种情况,前缀级别的路径修剪至关重要,但现有的研究仍然分散,没有标准化的框架。在这项工作中,我们提出了第一个系统的路径修剪分类法,根据信号源(内部与外部)和可学习性(可学习与不可学习)对方法进行分类。这种分类揭示了可学习内部方法的未开发潜力,激发了我们提出 STOP(剪枝超级词元)。对从 1.5B 到 20B 参数范围的 LRM 进行的广泛评估表明,与现有基线相比,STOP 实现了卓越的有效性和效率。此外,我们严格验证了 STOP 在不同计算预算下的可扩展性 - 例如,在固定计算预算下,将 AIME25 上的 GPT-OSS-20B 准确率从 84% 提高到近 90%。最后,我们将研究结果提炼成正式的经验指南,以促进最佳的现实世界部署。代码、数据和模型可在 https://bijiaxihh.github.io/STOP 获取