论文
面向高效测试时计算扩展的自适应并行蒙特卡洛树搜索
Adaptive Parallel Monte Carlo Tree Search for Efficient Test-time Compute Scaling
摘要
蒙特卡洛树搜索（MCTS）是一种有效的测试时计算扩展（TTCS）方法，可提升大语言模型的推理性能，但其执行时间高度可变，在实践中导致严重的长尾延迟。诸如正向提前退出（positive early exit）之类的现有优化能在有利情形下降低延迟，但当搜索在无实质进展的情况下持续进行时则效果不佳。我们引入“负向提前退出”（negative early exit），用于剪除低产出的MCTS轨迹，并提出“自适应助推机制”（adaptive boosting mechanism），将回收的计算重新分配，以减少并发搜索之间的资源争用。将这些技术集成进vLLM后，可在提升吞吐量并保持推理准确率的同时，大幅降低p99端到端延迟。
