摆脱冗余推理：用于大语言模型推理阶段的结构感知搜索

使用大语言模型 (LLM) 的推理时搜索通常集中在一小部分结构或语义相似的轨迹上，而没有充分探索替代方案——我们将这种失败模式称为 \textit{推理盆地崩溃}。我们引入了 BASIN，这是一种免训练、结构感知的选择方法，它将推理状态分组到盆中，并惩罚对同一策略的重复访问，从而在固定的计算预算下跨真正不同的推理路径重新分配搜索。在匹配的推理预算下，BASIN 在 Game of 24 上比 Tree of Thought (ToT) 提高了高达 $+22$pp，在 MuSR 上提高了 $+6.7$pp。质量意识变体 QA-BASIN 通过在无条件多样化过度勘探时保留高质量盆地来进一步提高稳健性。为了解释流域感知选择何时有所帮助，我们引入了冗余间隙 $Δ$，它衡量搜索集中于正确预测与错误预测的差异程度：标准 ToT 通常在 $Δ\约 0$ 附近运行，而 BASIN 始终将 $Δ$ 变为正值。更广泛地说，BASIN 建议将结构感知选择作为改进推理时间推理的简单而通用的方法。代码可以在 https://github.com/GitHubLuCheng/basin 找到。