论文

通过即插即用预测器实现领域专用思维树

Domain-Specialized Tree of Thought through Plug-and-Play Predictors

模型推理推理搜索与路径规划

摘要

尽管大语言模型(LLM)已推进复杂推理,但以思维树(ToT)框架为代表的知名方法在探索深度与计算效率之间面临关键取舍。现有 ToT 实现通常依赖重量级的基于 LLM 的自我评估或僵化的启发式规则进行分支剪枝,使其代价过高且不灵活,难以广泛应用。为解决这一问题,我们提出 DST,一个自适应的即插即用预测器,作为轻量级有监督启发式来引导 ToT 搜索过程。我们的预测器支持动态、上下文感知的剪枝,使搜索在较简单的推理步骤上以近似贪心的效率推进,仅在遇到不确定性或任务复杂性时自适应地扩展搜索束宽。我们在涵盖数学推理、一般推理与复杂逻辑推理的多样化基准套件上评估该方法。实验结果表明,该方法取得与包括标准 ToT 在内的强基线相当或更优的准确率,同时将计算开销降低 26-75%。我们的工作有效化解了树式推理中准确率与效率的取舍,将 ToT 从资源密集型技术转变为 LLM 复杂问题求解的可扩展实用范式。

通过即插即用预测器实现领域专用思维树:论文配图
图1:通过即插即用预测器构建领域专用思维树(DST)的总体框架。