ThinkFuse：小推理模型的轨迹感知推理时融合

摘要

小型推理模型（SRM）通过生成扩展的思维链轨迹，在复杂的推理任务上表现出了强大的性能，但一旦推理进入错误路径，它们往往无法恢复。现有的测试时融合方法依赖局部融合信号来确定何时触发融合，这可能会被瞬态不确定性波动误导，并可能强化不稳定的推理轨迹。我们提出了 ThinkFuse，一种无需训练测试时融合框架，可以选择性地干预不可靠的推理片段。 ThinkFuse 将段级不确定性变化与轨迹级不确定性趋势进行比较，以识别不稳定推理点并将辅助推理路径融合到主模型的轨迹中。大量实验表明，ThinkFuse 在数学和知识密集型推理基准方面的表现优于基准，在模型系列组合中具有一致的增益，并且在较小的主模型中保持稳健。我们的分析表明，ThinkFuse 需要更少的融合触发器并生成更少的 token，凸显了选择性触发的效率。我们的代码可在 https://github.com/js-lee-AI/ThinkFuse. 获取

ThinkFuse：小推理模型的轨迹感知推理时融合：论文原图 — 图 1：ThinkFuse 框架概述。 ThinkFuse 使用自适应阈值 $\theta$ 监控主模型 $M_{p}$ 的段级不确定性。在检测到不确定性尖峰时，它会调用辅助模型 $M_{a}$ 来生成替代推理步骤。然后，$M_{p}$ 通过困惑度 (PPL) 评估两个候选轨迹的兼容性，将最兼容的片段融合到上下文中。该过程不断迭代，直到推理达到最终状态。