何时信任工具？用于工具集成数学推理的自适应工具信任校准

大型推理模型（LRM）通过扩展测试时间计算实现了强大的性能提升，但由于底层语言模型的固有限制，它们在需要精确计算和大量知识储备的任务中仍然存在缺陷。工具集成推理（TIR）已成为一种有前景的范式，它将工具调用和执行纳入推理轨迹中。尽管最近的工作已经发布了一些强大的开源 TIR 模型，但我们的分析表明这些模型仍然存在严重缺陷。我们发现，当模型的推理与工具结果相冲突时，模型倾向于相信自己的推理。并且存在工具结果正确但被模型忽略的情况，从而导致错误的答案，我们将其定义为“工具忽略”。这表明模型不知道何时信任或忽略该工具。为了克服这些限制，我们引入了自适应工具信任校准（ATTC），这是一种新颖的框架，指导模型根据生成的代码块的置信度得分自适应地选择信任或忽略工具结果。来自不同大小和跨多个数据集的各种开源 TIR 模型的实验结果证明 ATTC 有效减少了“工具忽略”问题，导致性能提升 4.1% 至 7.5%。